Дубли страниц, которые вы не видите: пагинация, фильтры, UTM и сессионные параметры

Привет, на связи Павел Гречко! В этой статье я расскажу вам про Дубли страниц, которые вы не видите: пагинация, фильтры, UTM и сессионные параметры.

Многие владельцы сайтов тщательно следят за уникальностью текстов, но упускают из виду техническую сторону вопроса. Поисковые роботы видят ваш сайт не так, как пользователи. Для них каждый уникальный URL — это отдельная страница. Если адрес меняется из-за добавления метки или выбора фильтра, а контент остается прежним, поисковик считает это дублем. Такие «невидимые» копии размывают вес сайта, тратят краулинговый бюджет и могут привести к пессимизации. Давайте разберемся, где прячутся эти дубли и как от них избавиться.

1. Что такое технические дубли и почему поисковики их ненавидят

Технический дубль — это ситуация, когда один и тот же контент доступен по двум или более разным адресам (URL). Например, site.ru/product и site.ru/product?color=red могут показывать одну и ту же карточку товара.

Почему это плохо?

• Краулинговый бюджет: У поисковых систем есть лимит ресурсов на сканирование вашего сайта. Если робот тратит время на тысячи дублей, он может не успеть проиндексировать новые важные страницы.
• Каннибализация запросов: Когда две страницы с одинаковым контентом конкурируют в поиске, они «отбирают» релевантность друг у друга. В итоге ни одна из них не занимает высокую позицию.
• Размытие ссылочного веса: Внешние ссылки могут вести на разные версии одной страницы, распределяя их авторитет между дублями вместо того, чтобы усиливать одну основную страницу.

2. Пагинация: ловушка многостраничных списков

Пагинация — это разделение длинного списка товаров или статей на несколько страниц (/page/2, /page/3).

Основные проблемы:

1. Дублирование контента: Часто первая страница категории (/category/) и первая страница пагинации (/category/page/1) содержат идентичный контент. Это классический дубль.
2. Бесконечная индексация: Роботы могут ходить по страницам пагинации бесконечно, особенно если там есть бесконечная прокрутка или подгрузка товаров.
3. Устаревшие рекомендации: Ранее использовались теги rel="next" и rel="prev". Сейчас Google официально заявил, что больше не использует их для индексации, а Яндекс относится к ним нейтрально.

Решение:

• Настройте редирект (301) с /page/1 на основную страницу категории.
• Для остальных страниц пагинации используйте тег canonical, указывающий на саму эту страницу (self-referencing canonical), либо закрывайте их от индексации через noindex, если они не несут уникальной ценности. Лучшая практика сейчас — оставлять их открытыми, но следить, чтобы они не конкурировали с главной категорией.

3. Фильтры и сортировка в интернет-магазинах: генератор бесконечных URL

Это самый мощный источник дублей в e-commerce. Пользователь выбирает цвет, размер, бренд, сортирует по цене. Каждый клик генерирует новый URL с параметрами: ?color=red&size=m&sort=price_asc.

Проблемы:

• Комбинаторика: Даже 5 фильтров с 10 вариантами каждый могут создать миллионы комбинаций URL.
• Пустые страницы: Некоторые комбинации фильтров не дают результатов, но страница все равно создается и индексируется.
• Сортировка: Страницы с сортировкой «по цене» или «по новизне» часто имеют тот же контент, что и основная выдача, просто в другом порядке.

Решение:

• Определите, какие фильтры создают действительно полезные посадочные страницы (например, «iPhone 13 черный»). Их нужно оптимизировать и оставлять в индексе.
• Все остальные технические фильтры (сортировка, узкие параметры) закрывайте от индексации.
• Используйте canonical на основную категорию для всех технических вариаций.

4. UTM-метки и маркетинговые параметры

UTM-метки (?utm_source=yandex&utm_medium=cpc...) нужны вам для аналитики, но не нужны поисковикам.

Проблема: Если кто-то скопирует ссылку с UTM-меткой и разместит её на другом сайте, поисковый робот перейдет по ней и проиндексирует страницу с метками как отдельный дубль.

Решение:

• Никогда не ставьте canonical на страницу с UTM-метками. Canonical всегда должен вести на «чистый» URL без параметров.
• В Яндекс.Вебмастере и Google Search Console можно указать, какие параметры игнорировать при индексации.

5. Сессионные идентификаторы (Session ID) и технические параметры

Некоторые CMS или серверные настройки добавляют к URL уникальный идентификатор сессии пользователя, например: ?sid=a1b2c3d4 или ?phpsessid=xyz.

Проблема: Каждый новый посетитель получает свой уникальный URL. Для поисковика это миллионы разных страниц с одним и тем же контентом. Это катастрофа для краулингового бюджета.

Решение:

• Отключите передачу Session ID в URL на уровне настроек сервера или CMS. Сессии должны храниться в куки (cookies), а не в адресной строке.
• Если отключить невозможно, обязательно закройте такие параметры через robots.txt или настройте игнорирование в панелях вебмастеров.

6. Инструменты для поиска скрытых дублей

Как найти то, что не видно глазу?

1. Screaming Frog SEO Spider: Запустите сканирование сайта. В отчете обратите внимание на колонку «Duplicate Content» и «Canonicalized». Фильтруйте URL по наличию знаков ? и &.
2. Яндекс.Вебмастер: Раздел «Индексирование» -> «Страницы в поиске». Посмотрите, нет ли там страниц с параметрами. Также раздел «Диагностика» -> «Параметры URL» покажет, как Яндекс понимает ваши метки.
3. Google Search Console: Раздел «Страницы» -> «Не проиндексировано». Ищите причины «Дубликат без указания канонической страницы пользователем» или «Альтернативная страница с правильным каноническим тегом». Это подскажет, какие дубли видит Google.

7. Методы борьбы с дублями: пошаговое руководство

7.1. Тег Canonical

Это основной инструмент. Он говорит поисковику: «Эта страница является копией, а вот эта — оригинал».

• Прописывайте rel="canonical" на каждой странице.
• Для страниц с фильтрами и сортировкой canonical должен вести на чистую категорию.
• Для пагинации canonical должен вести на саму страницу пагинации (self-referencing), чтобы избежать путаницы.

7.2. Файл robots.txt

Используйте директиву Disallow для закрытия служебных параметров. Пример:

1
2
3
Disallow: /*?sort=

- Disallow: /*?view=
- Disallow: /*?sid=

Важно: Robots.txt запрещает сканирование, но не гарантирует удаление из индекса, если страница уже попала туда по ссылкам.

7.3. Мета-тег noindex, follow

Для страниц, которые не должны быть в поиске вообще (например, результаты сложных фильтров), лучше использовать мета-тег: <meta name="robots" content="noindex, follow"> Это позволяет роботу пройти по ссылкам на странице, но не включать её в поиск.

7.4. Настройка в панелях вебмастеров

• Яндекс.Вебмастер: «Настройки индексирования» -> «Параметры URL». Укажите, какие параметры менять порядок отображения, а какие не влияют на контент.
• Google Search Console: Раньше был инструмент «Параметры URL», сейчас Google рекомендует решать проблемы через canonical и robots.txt, но мониторинг в разделе «Страницы» остается критически важным.

8. Чек-лист: проверка сайта на скрытые дубли

1. Проверьте, есть ли редирект с /page/1 на основную страницу категории.
2. Убедитесь, что все страницы с UTM-метками имеют canonical на чистый URL.
3. Закройте в robots.txt параметры сортировки и сессионные ID.
4. Проверьте страницы фильтров: полезные оставьте, технические закройте через noindex или canonical.
5. Просканируйте сайт краулером и найдите дубли с совпадением контента >90%.
6. Проверьте отчеты в Яндекс.Вебмастере и GSC на наличие исключенных дублей.
7. Убедитесь, что Session ID не передается в URL.
8. Настройте обработку параметров в панелях вебмастеров.
9. Проверьте наличие самоперекрестных ссылок на дубли внутри сайта.
10. Регулярно (раз в квартал) повторяйте аудит.

Заключение

Борьба с техническими дублями — это не разовая акция, а часть гигиены сайта. Пагинация, фильтры и маркетинговые метки будут генерировать новые URL постоянно. Ваша задача — выстроить систему, которая автоматически указывает поисковикам на главную версию страницы.

Начните с аудита: откройте Яндекс.Вебмастер и посмотрите, какие страницы с параметрами уже попали в индекс. Исправление этих ошибок часто дает быстрый прирост видимости сайта, так как высвобождает краулинговый бюджет для действительно важных страниц.