регион
Выбрать регион
Направление поиска:  Выбрать
Тип контента:  Выбрать

Робот ise4rubot

User-Agent ise4rubot

Роботы проекта ISE4 представляются как ise4rubot. Управлять поведением роботов на своём сайте можно с помощью стандартных директив файла robots.txt. Робот обрабатывает параметры только из блоков «User-Agent: *» и (или) «User-Agent: ise4rubot», поэтому для того чтобы робот принял нужные указания из robots.txt, необходимо наличие хотя бы одного из перечисленных блоков. Если в robots.txt оба блока User-Agent, то в случае разных указаний для одного и того же раздела или страницы сайта, будет принято указание из последнего блока. Например, если в блоке «User-Agent: *» есть указание «Disallow: /page.html» (запрет на индексирование page.html), а в следующем блоке «User-Agent: ise4rubot» указание «Allow: /page.html», то принято будет последнее «Allow: /page.html». Если блоки User-Agent будут идти в обратном порядке, сначала «User-Agent: ise4rubot», а затем «User-Agent: *» то принято будет указание «Disallow: /page.html». Рекомендуем всегда первым блоком в robots.txt делать «User-Agent: *» с общими указаниями для всех поисковиков, а за ним блоки для конкретных поисковиков с дополнительными указаниями.

Поддерживаемые директивы

На сегодняшней день робот ise4rubot работает только с директивами «Disallow» и «Allow».

Пример настройки robots.txt для ise4rubot

Запретить роботу ise4rubot индексировать сайт:
User-Agent: ise4rubot
Disallow: /

Запретить роботу ise4rubot индексировать только некоторые разделы и файлы:
User-Agent: ise4rubot
Disallow: /razdel (Запретить индексировать любой раздел или файл начинающийся с /razdel)
Disallow: /razdel2/ (Запретить индексировать раздел /razdel2/)
Disallow: /page.html (Запретить индексировать страницу /page.html)

Разрешить роботу ise4rubot индексировать только некоторые разделы:
User-Agent: ise4rubot
Disallow: /
Allow: /razdel/ (Разрешить индексировать всё в разделе /razdel/)
Allow: /page.html (Разрешить индексировать страницу /page.html)
наверх
нашли ошибку
Настройки
гость
Авторизация
© ISE4.ru