Google добавил новый user-agent под названием Google-CWS, который входит в категорию пользовательских fetchers. Он используется для работы с Chrome Web Store и запрашивает URL-адреса, указанные разработчиками в метаданных расширений и тем Chrome.
Как работают пользовательские fetchers
Пользовательские fetchers инициируются действиями пользователя внутри продуктов Google. Они выполняют функции получения данных по запросу пользователя. Например, Google Site Verifier проверяет сайты по просьбе пользователя, а сайты на платформе Google Cloud (GCP) могут позволять пользователям получать внешние RSS-ленты. Поскольку запрос инициируется пользователем, такие fetchers обычно игнорируют правила robots.txt.
Google-CWS наследует общие технические характеристики краулеров Google, включая частоту запросов, обработку редиректов и поддержку HTTP/HTTPS. Это означает, что разработчики могут отслеживать, как их расширения и темы взаимодействуют с Google, и видеть точные URL, которые запрашиваются через Chrome Web Store.
Почему это важно для разработчиков и владельцев сайтов
Если вы увидите Google-CWS в логах своего сайта, теперь вы будете точно знать источник запросов. Fetcher Chrome Web Store помогает поддерживать актуальность данных, получать статистику использования расширений и тем, а также контролировать доступ к ресурсам, которые вы предоставляете пользователям.
Google рекомендует разработчикам проверять логи на наличие нового user-agent, чтобы убедиться, что fetcher корректно обрабатывает URL и не блокируется правилами robots.txt. Владельцам сайтов стоит учитывать эти запросы при планировании индексации и работы с внешними сервисами.
- Поисковый трафик сократится почти вдвое: что ждёт сайты в ближайшие годы
- 37% пользователей начинают поиск с ИИ, а не с Google: исследование
- Как попасть в ИИ-поиск Google
- Вебмастер Яндекса представил инструмент «Настройка GET-параметров»
- Яндекс запустил AI Search: инструмент для создания бизнес-агентов