Генератор и валидатор robots.txt
Создавайте правила сканирования и проверяйте, к каким путям у Googlebot есть доступ.
Правила сканирования
Начните с робота, для которого должны действовать эти правила.
Карты сайта (Sitemaps)
Сгенерированный robots.txt
0Проверка правил
Проверить путь
Ваши правила сканирования создаются и проверяются прямо в браузере. Никакие данные не отправляются на BroBroGo.
Частые вопросы
Что этот генератор может добавить в robots.txt?
Добавьте группу user-agent, пути Allow и Disallow, а также один или несколько URL-адресов карт сайтов. Готовый результат можно скопировать в файл robots.txt.
Как валидатор путей выбирает правило?
Он следует порядку сопоставления Google: побеждает наиболее длинный совпадающий путь. Если правила Allow и Disallow имеют одинаковую длину совпадения, приоритет отдается Allow.
Удаляет ли директива Disallow страницу из поиска Google?
Нет. Заблокированная страница все равно может появляться в результатах поиска, если на нее ссылаются другие страницы. Используйте тег noindex, ограничение доступа или удалите страницу, если ее вообще не должно быть в поиске.