SEO-специалист опубликовал детали аудита сайта, в котором он раскритиковал использование rel=canonical для управления индексируемыми страницами. Он предложил использовать noindex для удаления страниц из индекса Google, а затем добавить их в robots.txt. Однако Джон Мюллер из Google предложил другое решение.
Аудит сайта выявил индексированные URL «Добавить в корзину»
SEO-аудит показал, что более половины из 1,43 тыс. индексированных страниц клиента были пагинированными и содержали URL вида «добавить в корзину» (с вопросительными знаками в конце). Google проигнорировал атрибут rel=canonical и проиндексировал эти страницы, что подтвердило: rel=canonical — это всего лишь рекомендация, а не директива.
В данном случае под пагинацией понимаются динамически сгенерированные URL, появляющиеся, когда пользователь сортирует товары по бренду, размеру и другим параметрам (так называемая фасетная навигация).
Пример индексированного URL:
📌 example.com/product/page-5/?add-to-cart=example
Клиент использовал rel=canonical, чтобы указать Google, какая страница должна быть основной, но это не сработало.
Решение SEO-специалиста:
🛠 “Я планирую добавить noindex ко всем этим страницам, а после этого заблокировать их в robots.txt”.
SEO-решения зависят от деталей
Один из самых заезженных SEO-шуточек — это фраза «это зависит». Но на самом деле, «это зависит» — не шутка, если после нее объясняется, от чего именно это зависит. Именно этот важный нюанс добавил Джон Мюллер в обсуждение на LinkedIn, в котором уже было 83 ответа.
Первоначальное обсуждение, начатое SEO-специалистом после завершения аудита, касалось технических сложностей управления индексацией страниц в Google. В частности, было подчеркнуто, что rel=canonical — ненадежное решение, так как это рекомендация, а не директива.
📌 Директива — это обязательное к исполнению указание для Google, например meta noindex.
📌 rel=canonical — это только подсказка, которая может быть проигнорирована Google при решении, что индексировать.
Проблема, о которой говорилось в оригинальном посте, заключалась в том, что в индекс Google попадало слишком много динамически созданных страниц, и это требовало контроля.
Джон Мюллер о работе с нежелательными индексированными URL
Мюллер предложил анализировать URL на предмет закономерностей, чтобы понять, почему они попадают в индекс Google, и затем применять более точечное решение.
Его советы:
💡 Проанализировать закономерности в URL
Вместо того чтобы рассматривать URL как случайный список для каноникализации, важно определить их общие особенности. Универсальное решение не подойдет, нужно искать специфический подход.
💡 Блокировать URL «добавить в корзину» через robots.txt
Эти страницы не нужно канонизировать – их лучше вообще не допускать к индексации. К тому же их сканирование может исказить аналитические данные сайта.
💡 Изучить пагинацию и параметры URL
Стоит ознакомиться с документацией Google о работе с параметрами URL и фильтрацией.
💡 Изучить дополнительные технические нюансы
Для более глубокой проработки темы можно послушать подкаст Handling Dupes: Same Same or Different.
Почему Google индексирует URL с параметрами запроса?
В обсуждении на LinkedIn многие упомянули проблему индексации URL добавления в корзину. Конкретного ответа не было, но возможно, это связано с особенностями платформы интернет-магазина. Решение может заключаться в одном из описанных выше способов.
