Для чего нужен «robots.txt»

Важность и полезность использования «robots.txt»

Что это такое и зачем?
Любой поисковый робот при заходе на сайт в первую очередь начинает свою работу с “поиска” файла «robots.txt». В нем прописаны специальные рекомендации (или команды), которых должен придерживается поисковый робот.

Как создать «robots.txt» и куда его загрузить
Создать «robots.txt» можно элементарным способом. Для этого открываете стандартный блокнот (можно и Notepad) и прописываете в него специальные настройки, которые указаны ниже.

После создание файла, Вы должны сохранить его в .txt формате (это стандартный формат текстовых файлов) и загрузить в корневую папку Вашего сайта. Запомните, файл должен открываться только по такому пути: http://your-site.net/robots.txt

Настройки для файла:
User-agent: Здесь указывается название раздела настроек как для определенного поискового робота, так жн можно указать и всех сразу.
На примере: User-agent: * – Для всех поисковых систем; User-agent: Yandex – Для всех поисковых роботов Яндекса; и т.д.

То есть зная имена поисковых краулеров, Вы можете задавать определенные настройки под нужного робота.

robots-txt

Allow: Здесь прописываются все “разрешения” для роботов. Папки и страницы Вы можете разрешить к индексации с помощью этого атрибута. Пример такой Allow: */feed то есть Вы разрешаете поисковику индексировать RSS-ленту своего сайта/блога/форума и прочего вида Интернет-ресурсов.

файл robots.txt

Disallow: А вот здесь уже прописываются пути к страницам и папка блога, которые необходимо обязательно запретить к индексации поисковой системы. Например Вы хотите запретить индексацию страницы входа в ПУ (ПУ Панель Управления) WordPress, тогда прописываете так Disallow: /wp-admin То есть страница для входа в ПУ Вашего сайта уже не попадет в поисковую выдачу и так далее.

Host: Здесь указывается главное т.н. “зеркало” Вашего сайта. Прописывается таким образом Host: your-site.com но если Ваш сайт перенаправляет на домен с www., тогда просто добавьте перед доменным именем www.

Sitemap: Ну и здесь указываете гипер-ссылку на Вашу карту сайта. В случае, если у Вас есть и другие карты, например для форума, то указывайте и их тоже.