Любой поисковый робот при заходе на сайт в первую очередь начинает свою работу с «поиска» файла «robots.txt». В нем прописаны специальные рекомендации (или команды), которых должен придерживается поисковый робот.
Как создать «robots.txt» и куда его загрузить
Создать «robots.txt» можно элементарным способом. Для этого открываете стандартный блокнот (можно и Notepad) и прописываете в него специальные настройки, которые указаны ниже.
После создание файла, Вы должны сохранить его в .txt формате (это стандартный формат текстовых файлов) и загрузить в корневую папку Вашего сайта. Запомните, файл должен открываться только по такому пути: http://your-site.net/robots.txt
Настройки для файла:
User-agent: Здесь указывается название раздела настроек как для определенного поискового робота, так жн можно указать и всех сразу.
На примере: User-agent: * — Для всех поисковых систем; User-agent: Yandex — Для всех поисковых роботов Яндекса; и т.д.
То есть зная имена поисковых краулеров, Вы можете задавать определенные настройки под нужного робота.
Allow: Здесь прописываются все «разрешения» для роботов. Папки и страницы Вы можете разрешить к индексации с помощью этого атрибута. Пример такой Allow: */feed то есть Вы разрешаете поисковику индексировать RSS-ленту своего сайта/блога/форума и прочего вида Интернет-ресурсов.
Disallow: А вот здесь уже прописываются пути к страницам и папка блога, которые необходимо обязательно запретить к индексации поисковой системы. Например Вы хотите запретить индексацию страницы входа в ПУ (ПУ Панель Управления) WordPress, тогда прописываете так Disallow: /wp-admin То есть страница для входа в ПУ Вашего сайта уже не попадет в поисковую выдачу и так далее.
Host: Здесь указывается главное т.н. «зеркало» Вашего сайта. Прописывается таким образом Host: your-site.com но если Ваш сайт перенаправляет на домен с www., тогда просто добавьте перед доменным именем www.
Sitemap: Ну и здесь указываете гипер-ссылку на Вашу карту сайта. В случае, если у Вас есть и другие карты, например для форума, то указывайте и их тоже.
