Будь-який пошуковий робот під час заходу на сайт насамперед починає свою роботу з “пошуку” файлу “robots.txt”. У ньому прописані спеціальні рекомендації (або команди), яких повинен дотримуватися пошуковий робот.

Як створити “robots.txt” і куди його завантажити

Створити “robots.txt” можна елементарним способом. Для цього відкриваєте стандартний блокнот (можна і Notepad) і прописуєте в нього спеціальні налаштування, які вказані нижче.

Після створення файлу, Ви маєте зберегти його в .txt форматі (це стандартний формат текстових файлів) і завантажити в кореневу папку Вашого сайту. Запам’ятайте, файл повинен відкриватися тільки за таким шляхом: http://your-site.net/robots.txt

Налаштування для файлу:

User-agent: Тут вказується назва розділу налаштувань як для певного пошукового робота, так само можна вказати і всіх відразу.

На прикладі:User-agent:

 Для всіх пошукових систем; User-agent: Google – Для всіх пошукових роботів Гугла; і т.д.

Тобто знаючи імена пошукових краулерів, Ви можете задавати певні налаштування під потрібного робота.

Allow: Тут прописуються всі “дозволи” для роботів. Папки і сторінки Ви можете дозволити до індексації за допомогою цього атрибута. Приклад такий Allow: */feed тобто Ви дозволяєте пошуковику індексувати RSS-стрічку свого сайту/блогу/форуму та іншого виду Інтернет-ресурсів.

Disallow: А ось тут уже прописуються шляхи до сторінок і папки блогу, які необхідно обов’язково заборонити до індексації пошукової системи. Наприклад Ви хочете заборонити індексацію сторінки входу в ПУ (ПУ Панель Управління) WordPress, тоді прописуєте так Disallow: /wp-admin Тобто сторінка для входу в ПУ Вашого сайту вже не потрапить до пошукової видачі і так далі.

Host: Тут вказується головне т.зв. “дзеркало” Вашого сайту. Прописується таким чином Host: your-site.com, але якщо Ваш сайт перенаправляє на домен із www., тоді просто додайте перед доменним ім’ям www.

Sitemap: Ну і тут вказуєте гіпер-посилання на Вашу карту сайту. У разі, якщо у Вас є й інші карти, наприклад для форуму, то вказуйте і їх також.