Що являє собою дубльований контент? Це досить негативне явище для веб-ресурсу, яке необхідно по можливості викорінювати. Фахівці-оптимізатори, які оптимізують сайти під пошукові системи протягом декількох років, знають способи уникнути проблеми дублів контенту.
Що стосується новачків – досить часто вони просто забувають про деякі дрібниці, в результаті чого і виникає дубльований контент.
Зоною особливого ризику є інтернет-магазини. Неймовірна маса сторінок із вмістом може призвести до появи дублів сторінок, які залишаються непоміченими.
Причини виникнення дублів і способи їх видалення
1. Навігація з різними аспектами. Це досить поширена причина появи дублів вмісту на сайті, особливо для комерційних веб-ресурсів. Як результат у кожної сторінки може виникнути до 100 дублів, а то й більше за рахунок величезної кількості параметрів для вибору конкретного продукту.
Як можна вирішити проблему, що виникла?
Індексування таких сторінок можна заборонити кількома способами:
- Використання мета-тега пошукового робота, в якому noindex – це атрибут, який повідомляє пошуковому роботу, що сторінка не потребує індексації, follow – атрибут, який повідомляє, що за посиланнями на сторінці слід переходити й далі;
- Використання інструменту “Вебмайстер” у пошуковику Google. З його допомогою можна заборонити індексування сторінок за певним URL;
- Використання канонічного тега. rel=”canonical” повідомляє системі пошуку про дубль сторінки, що знаходиться за іншим URL. Іноді пошукові системи не звертають уваги на цей тег і продовжують індексацію. Рекомендується використовувати його в парі з robots мета-тегом;
2. ієрархічна структура URL.Раніше використання ієрархічної структури було оптимальним у комерції, але в SEO відбулася низка змін, завдяки яким сьогодні ієрархія URL сприяє виникненню дублів.
Як вирішити проблему?
Зміна структури URL. Необхідно виключити фрагменти-вузли і залишити тільки ім’я товару. Канонічний тег (canonical) також допоможе розв’язати цю проблему, передаючи вагу сторінки і вказуючи пошуковим роботам, що вона основна.
3. Пошукові сторінки. Пошукові сторінки в каталозі сприяють виникненню дубльованого контенту. Від такої проблеми страждає більшість інтернет-магазинів.
Як вирішується ця проблема?
Оптимальне рішення – блокування доступу до таких сторінок для робота у файлі robots.txt через їхній спільний каталог. У файлі робота достатньо прописати заборону на індексацію такого каталогу Disallow: /shop/catalogsearch/. Коли сторінка вже є в пошуку, її можна видалити в пошуковому “Інструменті для Вебмайстрів”.
4. Посторінкова навігація. Проблемою виникнення дубльованого контенту також є і пагінація.
Як вирішити проблему, що виникла?
У 2011 році компанією Google були введені такі теги, як rel=next і prev.Для вирішення проблеми достатньо їх використовувати.
5. Друкована версія сторінок ресурсу. Відображення інформації сайту для друку дублює вже наявний контент за іншим URL.
Спосіб вирішення проблеми:
Закриття каталогу від систем пошуку через файл robots.txt;
Використання robots мета-тега з атрибутами (noindex, follow) на динамічних сторінках сайту.