Googlebot Mobile: особенности индексации

Архитектура и спецификации Googlebot Mobile

Googlebot Mobile представляет собой выделенный программный краулер, функционирующий на инфраструктуре Google, с жёстко заданными параметрами User-Agent и HTTP-заголовками. В отличие от десктопного аналога, данный агент эмулирует среду мобильного устройства с разрешением экрана 360×640 пикселей (стандарт Android 4.x и выше). Краулер использует движок Chromium 74+ с включённой поддержкой JavaScript ES6, WebP, CSS Grid и Flexbox. Ключевая техническая особенность — принудительное выставление заголовка X-Forwarded-For и Accept-Language на основе геолокации сервера, что отличается от десктопного бота, игнорирующего Vary: User-Agent в большинстве сценариев.

User-Agent и версионирование

Техническая строка User-Agent мобильного краулера имеет строгую структуру: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36. Версия Chrome (W.X.Y.Z) обновляется каждые 2-3 недели, синхронизируясь с релизным циклом Chromium. В отличие от десктопного бота, который передаёт Googlebot/2.1, мобильная версия обязательно содержит Mobile и Safari в сигнатуре. Веб-серверы должны быть настроены на обработку user-agent по маске *Googlebot*Mobile* без учёта версий.

Отличия от десктопного краулера: заголовки и cookie

Приоритет заголовков: Googlebot Mobile игнорирует Link rel="alternate" для мобильных версий, если не указан hreflang. Десктопный бот обрабатывает этот тег в любом контексте.
Cookie-сессии: Мобильный краулер передаёт только essential cookies (strictly necessary). Десктопный — принимает все cookie, включая аналитические и рекламные, если они не заблокированы robots.txt.
HTTP/2 и Server Push: Googlebot Mobile поддерживает HTTP/2 push-ресурсы для ускорения загрузки контента, но не обрабатывает Server Push для скриптов весом более 50 КБ. Десктопный бот обрабатывает push без ограничений.
Заголовки кэширования: Для мобильного краулера Cache-Control со значением no-cache обрабатывается какno-store. В десктопной версии это правило не применяется.

Индексация контента: критерии качества

Стандарты качества индексации Googlebot Mobile основаны на метриках Core Web Vitals (CWV) с пороговыми значениями для мобильных сетей 3G/4G:

LCP (Largest Contentful Paint) — не более 2,5 секунд при эмулируемой задержке 300 мс.
FID (First Input Delay) — не более 100 мс для event-таймеров.
CLS (Cumulative Layout Shift) — не более 0,1.

При превышении этих стандартов Googlebot Mobile снижает частоту повторного краулинга до 1 раза в 14 дней против стандартных 3 дней для десктопного.

Технические ограничения и обработка ошибок

JavaScript-рендеринг: Googlebot Mobile выполняет рендеринг страницы дважды — сначала с пустым DOM, затем с полным JS. Если итоговый контент отличается от статического <noscript>, краулер штрафует страницу статусом invalid.
Размер передаваемых данных: Лимит загрузки для одного URL — 10 МБ (против 15 МБ у десктопного). При превышении краулер обрезает контент с сообщением в логе.
Сжатие gzip/brotli: Googlebot Mobile поддерживает Brotli (br) на уровне 5, gzip — на уровне 6. Десктопный бот использует только gzip с уровнем сжатия 9, игнорируя Brotli для статических ресурсов.

Диагностика и логирование

Для мониторинга работы краулера используйте лог-файлы сервера с фильтрацией по *-Mobile*Safari*. Ключевые параметры для анализа:

Количество успешных запросов (status 200) — не менее 85% от общего числа.
Среднее время ответа — не более 1,5 с для мобильных запросов.
Процент 404/410 ошибок — не более 2%.

Превышение этих значений указывает на проблемы с индексацией, требующие корректировки конфигурации сервера.

Добавлено: 27.04.2026