Не получается добиться правильного сканирования и индексации сайта Googlebot? В таких случаях на помощь приходит Chrome (или Chrome Canary) для эмуляции. Этот подход позволяет выявить расхождения между тем, что видят пользователи и поисковые роботы, и убедиться, что веб-ресурс работает корректно с точки зрения индексации.
&nbsp;
В этой статье мы разберем, как настроить браузер для эмуляции Googlebot, выявить проблемы с рендерингом и улучшить SEO-аудит.
&nbsp;
 
Зачем смотреть на сайт глазами Googlebot?
&nbsp;
Раньше технический SEO-аудит был проще: сайты строились на HTML и CSS, а JavaScript использовался лишь для мелких улучшений, например, анимации. Сегодня большинство сайтов активно используют JavaScript, перенося обработку страниц с серверов на браузеры. Это создает дополнительные трудности для поисковых роботов, включая Googlebot, которым приходится обрабатывать страницы на стороне клиента, что требует больше ресурсов и может вызывать задержки.
&nbsp;
Просмотр сайта через Googlebot помогает выявить различия между тем, что видят пользователи и поисковые системы. Хотя полное совпадение не обязательно, критически важные элементы, а именно навигация, контент и ключевые блоки должны отображаться корректно. Такой подход помогает обнаружить проблемы с индексацией и ранжированием, вызванные особенностями рендеринга.
&nbsp;
Какие SEO-аудиты стоит проводить с Googlebot
&nbsp;
Googlebot чаще всего используют для аудита сайтов с клиентской или динамической визуализацией. Он позволяет легко сравнить то, что видит Googlebot, с тем, что видят обычные пользователи, выявляя расхождения, которые могут негативно повлиять на позиции сайта в результатах поиска.
&nbsp;
Такой подход обеспечивает более точную проверку, чем обычный браузер с множеством плагинов. Это особенно актуально при использовании встроенных инструментов Chrome, таких как DevTools и Lighthouse, например, для аудита скорости и производительности. Даже на сайтах, которые не используют динамический рендеринг, неожиданно можно обнаружить серьезные проблемы.
&nbsp;
На что стоит обращать внимание при аудите через Googlebot
&nbsp;
&nbsp;
<ul>
<li>
Различия в навигации
Проверяйте, одинаково ли отображается основная навигация для пользователей и поисковых роботов. Неточности могут затруднять индексацию ключевых страниц.
</li>
<li>
Видимость контента
Убедитесь, что Googlebot видит весь контент, который вы хотите проиндексировать. Скрытые блоки или неправильно рендерящиеся элементы могут быть недоступны для бота.
</li>
<li>
Задержки индексации JavaScript
Если сайт зависит от рендеринга JavaScript, новый контент может индексироваться с задержкой. Это особенно важно для страниц с событиями, акциями или запуском продуктов.
</li>
<li>
Проблемы с ответом сервера
Проверяйте корректность HTTP-ответов. Например, URL может возвращать 200 OK для Googlebot, но показывать 404 для посетителей &mdash; это может нарушать индексацию и пользовательский опыт.
</li>
<li>
Вариации макета страницы
Иногда элементы, которые видит Googlebot, могут выглядеть по-другому для обычного пользователя. Например, ссылки могут отображаться синим текстом на черном фоне (бот видит их корректно, но пользователю сложно с ними взаимодействовать).
</li>
<li>
Гео-перенаправления
Многие сайты перенаправляют посетителей в зависимости от местоположения. Так как Googlebot чаще сканирует сайт с IP-адресов США, важно проверить, как ресурс обрабатывает такие запросы.
</li>
</ul>
&nbsp;
&nbsp;
 
Использование Chrome для аудита Googlebot
&nbsp;
Степень детализации зависит от целей аудита, но Chrome предлагает множество встроенных инструментов для технического SEO-аудита.
&nbsp;
Этот подход помогает:
&nbsp;
<ul>
<li>
Обнаружить файлы и контент, заблокированные для индексации
</li>
<li>
Найти элементы, которые могли остаться незамеченными
</li>
<li>
Проверить корректность рендеринга JavaScript и скорость загрузки страниц
</li>
</ul>
&nbsp;
&nbsp;
Использование браузера Googlebot позволяет провести глубокий и точный аудит, выявляя проблемы, которые традиционные проверки могли бы пропустить.
&nbsp;
Настройка Googlebot
&nbsp;
Настройка браузера Googlebot занимает около 30 минут и значительно упрощает проверку веб-страниц с точки зрения поискового робота. Ниже мы подготовили пошаговое руководство по работе.
&nbsp;
Шаг 1: Установка Chrome или Chrome Canary
Если Chrome не является вашим основным браузером, используйте его специально для эмуляции Googlebot. Если Chrome уже установлен, рекомендуется скачать и установить Chrome Canary.
&nbsp;
Canary &mdash; это версия Chrome для разработчиков, в которой Google тестирует новые функции. Она запускается отдельно от стандартного Chrome. Использование Canary позволяет безопасно экспериментировать, не влияя на основной браузер.
&nbsp;
Шаг 2: Установка расширений и инструментов
Для оптимизации браузера Googlebot рекомендуется установить несколько ключевых расширений и букмарклетов. Они помогают эмулировать работу поискового робота и улучшить результаты технического SEO-аудита, особенно на сайтах с большим количеством JavaScript.
&nbsp;
Основные расширения для эмуляции Googlebot:
&nbsp;
<ul>
<li>
User-Agent Switcher &mdash; позволяет менять пользовательский агент браузера, имитируя работу Googlebot.
</li>
<li>
Web Developer &mdash; дает возможность включать или отключать JavaScript, чтобы увидеть, как бот обрабатывает сайт.
</li>
<li>
VPN &mdash; эмулирует геолокацию Googlebot (обычно США), что помогает выявить различия в отображении страниц в зависимости от региона.
</li>
</ul>
&nbsp;
&nbsp;
Дополнительные полезные инструменты:
&nbsp;
<ul>
<li>
Redirect Path &mdash; быстро проверяет ответы сервера и HTTP-заголовки, выявляя возможные ошибки для SEO.
</li>
<li>
View Rendered Source &mdash; сравнивает необработанный HTML (серверный) и визуализированный HTML (то, что обрабатывает браузер), помогая находить проблемы с рендерингом.
</li>
<li>
Букмарклет NoJS Side-by-Side &mdash; позволяет одновременно сравнить внешний вид страницы с включенным и отключенным JavaScript, что облегчает выявление расхождений.
</li>
</ul>
&nbsp;
&nbsp;
Шаг 3: Настройка браузера для эмуляции Googlebot
При настройке браузера Googlebot важно учитывать ограничения поискового робота.
&nbsp;
Googlebot не поддерживает:
&nbsp;
<ul>
<li>
работу с состоянием пользователя &mdash; бот не сохраняет cookies, sessionStorage, localStorage или IndexedDB
</li>
<li>
запросы на разрешения &mdash; игнорирует push-уведомления, камеру, микрофон, геолокацию
</li>
<li>
кэширование данных &mdash; каждая страница сканируется &laquo;с нуля&raquo;
</li>
</ul>
&nbsp;
Правильная настройка браузера с учетом этих ограничений позволяет максимально точно имитировать поведение Googlebot и выявлять проблемы, которые могут повлиять на индексацию и ранжирование сайта.
&nbsp;
Шаг 3а: Настройка DevTools для эмуляции Googlebot
Чтобы браузер корректно имитировал Googlebot, потребуется внести несколько изменений в DevTools.
&nbsp;
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/ae95328f-27a4-4132-99b7-e1a396f82cc6.png" alt="" width="780" height="704" />
&nbsp;
Ключевые настройки DevTools:
&nbsp;
<ul>
<li>
Отключение кэша: в меню &rarr; &laquo;Дополнительные инструменты&raquo; &rarr; &laquo;Сетевые условия&raquo; &rarr; отметьте &laquo;Отключить кэш&raquo;.
</li>
</ul>
&nbsp;
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/dae2b8d3-288a-4540-b2cb-f30a1c6d1630.png" alt="" width="851" height="448" />
<ul>
<li>
Обход Service Workers: вкладка &laquo;Приложение&raquo; &rarr; Service Workers &rarr; включите &laquo;Обход для сети&raquo;.
</li>
</ul>
&nbsp;
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/045ddec0-8c04-4d41-88b8-d8155045f485.png" alt="" width="851" height="206" />
&nbsp;
Шаг 3б: Общие настройки браузера
&nbsp;
<ul>
<li>
Блокировка всех файлов cookie:
Настройки &rarr; &laquo;Конфиденциальность и безопасность&raquo; &rarr; &laquo;Файлы cookie&raquo; &rarr; выберите &laquo;Блокировать все файлы cookie&raquo;.
</li>
</ul>
&nbsp;
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/19f8d21a-5939-44e6-a909-36411bcf918a.png" alt="" width="728" height="516" />
&nbsp;
<ul>
<li>
Настройка разрешений сайта:
Настройки &rarr; &laquo;Конфиденциальность и безопасность&raquo; &rarr; &laquo;Настройки сайта&raquo;.
В разделе &laquo;Разрешения&raquo; заблокируйте местоположение, камеру, микрофон и уведомления.
</li>
</ul>
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/4aafe245-3514-40e5-92f3-12df7553a092.png" alt="" width="1016" height="449" />
<img src="https://rocket-cpa-prod.b-cdn.net/article-images/d1d1df4d-36df-4975-af9d-f5de1522b832.png" alt="" width="1238" height="908" />
<ul>
<li class="p2">В разделе &laquo;Дополнительные разрешения&raquo; отключите &laquo;Фоновую синхронизацию&raquo;.</li>
</ul>
&nbsp;
Эти шаги помогут сделать поведение браузера максимально похожим на Googlebot.
&nbsp;
Шаг 4: Эмуляция мобильного устройства
Googlebot преимущественно сканирует сайты в мобильном режиме, поэтому важно включить эмуляцию смартфона в браузере. Для этого:
&nbsp;
<ul>
<li>
В DevTools нажмите иконку переключения панели устройств
</li>
<li>
Выберите устройство из списка или добавьте пользовательское
</li>
</ul>
&nbsp;
Настройка браузера для имитации Googlebot &mdash; один из самых быстрых и бесплатных способов просматривать страницы так, как это делает поисковый робот. Хотя другие инструменты от Google дают дополнительную информацию, браузер Googlebot особенно удобен для технического аудита сайтов, зависящих от рендеринга на стороне клиента.
&nbsp;
 
👍🏻 Инфа была полезной? Ставь лайк!
 
&nbsp;
 
Всем конверта и ROI высоченного
&nbsp;
 
Наш Telegram-чат 👉🏻 <a href="http://t.me/rocketprofitchat">t.me/rocketprofitchat</a>
&nbsp;
&nbsp;

Рассказали, как проверить сайт глазами Googlebot в Chrome и оптимизировать видимость страниц в поиске

Chrome View as Googlebot