Робот Googlebot обновляет строку агента пользователя

Еще в мае 2019 года Google запустил версию Googlebot , которая будет постоянно работать в последней версии Chrome. Однако строка пользовательского агента осталась прежней. Это скоро изменится.

Что такое строка пользовательского агента?

Строка пользовательского агента — это короткая «строка» текста, которая идентифицирует браузер для веб-сервера. Делая каждый браузер уникальным! Когда браузер подключается к веб-сайту, пользовательский агент, по сути, представляет себя серверу: «Эй, я {тип браузера} на {просматривающем устройстве}».

Но как это связано с роботом Googlebot?

Google использует браузер на основе Chrome для сканирования и отображения веб-страниц, чтобы добавить их в свой индекс. Итак, как и другие браузеры, у Googlebot есть собственная уникальная строка пользовательского агента.

Веб-серверы могут использовать информацию пользовательского агента, чтобы изменить способ обслуживания страницы. Например, веб-сервер можно настроить для отправки мобильных страниц посетителям в мобильных браузерах (это называется « динамическое обслуживание »). Строка пользовательского агента также помогает оптимизаторам поисковых систем анализировать свои файлы журналов и понимать, какие страницы посещает Google.

Строка пользовательского агента Googlebot будет включать последнюю версию Chrome.

Итак, если у робота Google уже была уникальная строка пользовательского агента, что изменится?

Поскольку Googlebot теперь всегда использует последнюю версию Chrome, строка пользовательского агента должна это отражать. 

Как именно это выглядит? Мы вам покажем.

Как выглядит строка пользовательского агента робота Googlebot для ПК сегодня:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; 
+http://www.google.com/bot.html) Safari/537.36

Как будет выглядеть строка пользовательского агента робота Googlebot для ПК

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; 
+http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36  

Начиная с декабря, строка пользовательского агента Googlebot будет отражать последнюю версию Chrome и будет продолжать обновляться синхронно с Chrome. Указанный выше WXYZ соответствует последней версии Chrome. Например, вместо WXYZ вы можете увидеть «76.0.3809.100». Это означает, что робот Googlebot не только запустит текущую версию Chrome, плюс-минус всего несколько недель, но и его строка пользовательского агента затем обновится, чтобы включить текущие номера версий для идентификации.

Как робот Googlebot помогает SEO на сайтах JavaScript?

Чтобы понять значение обновления Google для строки пользовательского агента, мы должны сначала поговорить об обновлении его пользовательского агента еще в мае. Постоянно действующий робот Googlebot, означает стремительно сокращать бюджет рендеринга . Если раньше влияние JavaScript на SEO могло иметь негативные последствия для вашего веб-сайта, теперь Googlebot может использовать более современный язык JS, поскольку он продолжает обновляться вместе с Chrome. Это означает, что обновленный пользовательский агент открыл двери для более 1000 функций JavaScript.

Кроме того, вам больше не нужно использовать столько полифилов в JavaScript для функциональности в старых браузерах для Googlebot. Раньше, когда робот Googlebot использовал устаревшую версию Google Chrome, было важно использовать полифиллы. Теперь, когда Googlebot использует последнюю версию Chrome, вы должны оценить, нужны ли полифилы.

Обновление Google повлияет на ваш веб-сайт

Если ваш сайт ищет определенного пользовательского агента, чтобы изменить способ обслуживания страницы, это может повлиять на ваш сайт. Google рекомендует использовать обнаружение функций и прогрессивное улучшение вместо отслеживания пользовательского агента — тактика, которая иногда используется небольшими некорпоративными веб-сайтами.

Обнаружение функций идентифицирует робота Googlebot путем сопоставления его возможностей с известными функциями, которые поддерживает робот Googlebot, в то время как прогрессивное улучшение гарантирует, что веб-сайты будут предоставлять предпочтительный полнофункциональный интерфейс для браузеров, которые могут с этим справиться, и одновременно обслуживать более простые веб-страницы для тех, кто не может. Использование обнаружения функций и прогрессивного улучшения являются более масштабируемыми вариантами для корпоративных веб-сайтов в долгосрочной перспективе и имеют еще больший смысл теперь, когда строка пользовательского агента Googlebot будет продолжать обновляться. Если есть конкретный экземпляр, который вам нужно обнаружить через пользовательский агент, то просто ищите «Googlebot» в строке пользовательского агента, а не в полной строке пользовательского агента.

Вот еще пара потенциальных проблем, на которые следует обратить внимание, как отмечает Google:

  • Страницы, на которых отображается сообщение об ошибке: страница может предположить, что робот Googlebot является пользователем с блокировщиком рекламы, и случайно помешать ему получить доступ к содержимому страницы.
  • Страницы, которые перенаправляют на роботизированный документ или документ без индекса

Вывод

Единственные факторы, которые оптимизаторы поисковых систем должны учитывать в отношении новой строки и ранее анонсированного вечнозеленого робота Googlebot, — это

  • а) переоценка использования полифилов
  • б) реализация обнаружения функций и прогрессивного улучшения (если они еще этого не сделали)
  • в) следите за двумя пунктами выше, как это было предложено Google. 

Это очень интересное время для SEO-специалистов!

Call Now Button«Позвонить Сейчас»