Дублированный контент и как его избежать

Что представляет из себя дублированный контент? Это довольно негативное явление для веб-ресурса, которое необходимо по возможности искоренять.

Специалисты-оптимизаторы, которые оптимизируют сайты под поисковые системы на протяжении нескольких лет, знают способы избежать проблемы дублей контента. Что касается новичков – достаточно часто они просто забывают о некоторых мелочах, в результате чего и возникает дублированный контент. Зоной особого риска являются интернет-магазины. Невероятная масса страниц с содержимым может привести к появлению дублей страниц, которые остаются незамеченными.

Причины возникновения дублей и способы их удаления:
1. Навигация с разными аспектами. Это достаточно распространенная причина появления дублей содержимого на сайте, особенно для коммерческих веб-ресурсов. Как результат у каждой страницы может возникнуть до 100 дублей, а то и больше за счет огромного количества параметров для выбора конкретного продукта.

    Как можно решить возникшую проблему? Индексирование таких страниц можно запретить несколькими способами.

  • Использование мета-тега поискового робота , в котором noindex – это атрибут, сообщающий поисковому роботу, что страница не нуждается в индексации, follow – атрибут, который сообщает, что по ссылкам на странице следует переходить и дальше;
  • Использование инструмента «Вебмастер» в поисковике Google. С его помощью можно запретить индексирование страниц по определенному URL;
  • Использование канонического тега. rel=”canonical” сообщает системе поиска о дубле страницы, находящейся по другому URL. Иногда поисковые системы не обращают внимания на данный тег и продолжают индексацию. Рекомендуется использовать его в паре с robots мета-тегом;

дубль контента

2. Иерархическая структура URL. Раньше использование иерархической структуры было оптимальным в коммерции, но в SEO произошел ряд изменений, за счет которых сегодня иерархия URL способствует возникновению дублей.
Как решить проблему?
– Изменение структуры URL. Необходимо исключить фрагменты-узлы и оставить только имя товара. Канонический тег (canonical) также поможет решить эту проблему, передавая вес страницы и указывая поисковым роботам, что она основная.

3. Поисковые страницы. Поисковые страницы в каталоге способствуют возникновению дублированного контента. От такой проблемы страдает большинство интернет-магазинов.
Как решается данная проблема?
– Оптимальное решение – блокировка доступа к таким страницам для робота в файле robots.txt через их общий каталог. В файле робота достаточно прописать запрет на индексацию такого каталога Disallow: /shop/catalogsearch/. Когда страница уже есть в поиске, ее можно удалить в поисковом «Инструменте для Вебмастеров».

4. Постраничная навигация. Проблемой возникновения дублированного контента также является и пагинация.
Как решить возникшую проблему?
– В 2011 году компанией Google были введены такие теги, как rel=next и prev. Для решения проблемы достаточно их использовать.

5. Печатная версия страниц ресурса. Отображение информации сайта для печати дублирует уже имеющийся контент по другому URL.
Способ решения проблемы:
– Закрытие каталога от систем поиска через файл robots.txt;
– Использование robots мета-тега с атрибутами (noindex, follow) на динамических страницах сайта.