Предназначение Robots.txt



Он являет собой определенный текстовый файл, находящийся в корневом каталоге сайта и содержащий инструкции, предназначенные для поисковых машин. Данный файл позволяет запрещать к индексации какие-либо разделы и страницы Вашего ресурса, а также указывать путь к файлу и основное зеркало.

Пример с закрытием от индексации технических разделов сайта ярко демонстрирует полезность robots.txt. Если технические страницы на Вашем сайте открыты для индексации, то поисковик обязательно попытается выбросить данные страницы из индекса. Таким образом, он может по ошибке закрыть и полезные странички сайта.

Для его создания можно воспользоваться обычным блокнотом, а затем поместить его в каталог ресурса. Когда поисковый робот зайдет к Вам на сайт, то он первым делом прочтет данный файл, содержащий инструкции.

Настройки robots.txt

Для настроек данного файла принято использовать такие основные директивы: Disallow и User-agent. Последняя определяет, каким именно поисковым роботом будет выполняться запрет на индексацию, прописанную во второй директиве. Примерно, таким образом, инструкция будет запрещать индексацию всего сайта всем поисковым системам: User-agent:* Disallow:/. Если же после Disallow будет прописан путь к какому-либо каталогу или файлу, то именно их робот прекратит индексировать. Помните, не стоит прописывать в одной строке несколько путей сразу, так как оформленная таким образом строчка не совсем не будет работать. Если же вы наоборот желаете открыть к индексации директорию или файл, то следует воспользоваться командой Allow.

Robots.txt может также использовать и дополнительные директивы. Так, например, Host применяется тогда, когда у Вашего ресурса имеется несколько зеркал. Эта директива укажет роботу на основное зеркало Вашего ресурса, и, она будет присутствовать во время всех выдач поисковых систем. Sitemap – это директива, которая поможет поисковым роботам определить местонахождение карты Вашего сайта. Такая директива как Crawl-delay применяется с целью создания задержки между загрузками страниц сайта поисковыми машинами. Она очень пригодится в том случае, если на сайте имеется большое число страниц. Директива request-rate регулирует периодичность загрузки поисковым роботом страниц сайта, то есть такая формулировка request-rate: 1/9 приведет к тому, что поисковая машина будет производить загрузку одной страницы в 9 секунд. Visit-time –директива определяющая промежуток времени во время которого роботу разрешается загружать страницы. Рекомендуется выставлять время по Гринвичу.

Роль настроек в работе robots.txt

Некорректные настройки данного файла могут привести к тому, что страницы, которые содержат конфиденциальную информацию о Ваших клиентах или покупателях будет открыты к поиску или наоборот полезные и нужные страницы ресурса будут запрещены для индексации поисковыми машинами.

Как проверяется правильность настроек?

Для этих целей можно воспользоваться таким сервисом Яндекс.Вебмастра как Анализ данного сервиса. Вписываем в поле имя домена, который хотим проверить, и сервис выдаст все имеющиеся ошибки.

Ваш отзыв

Перед отправкой формы: