Генератор та валідатор robots.txt
Створюйте правила сканування та перевіряйте, до яких шляхів має доступ Googlebot.
Правила сканування
Почніть із робота, для якого мають застосовуватися ці правила.
Карти сайту (Sitemaps)
Згенерований robots.txt
0Перевірка правил
Тестувати шлях
Ваші правила сканування створюються та перевіряються у вашому браузері. Нічого не завантажується на BroBroGo.
Поширені запитання
Що цей генератор може додати до robots.txt?
Додайте групу user-agent, шляхи Allow та Disallow, а також одну або кілька URL-адрес карт сайту (sitemap). Попередній перегляд буде готовий для копіювання у файл robots.txt.
Як інструмент перевірки шляху вибирає правило?
Він дотримується порядку відповідності Google: перемагає найдовший шлях, що збігається. Якщо правила Allow та Disallow однаково точні, пріоритет має Allow.
Чи вилучає директива Disallow сторінку з пошуку Google?
Ні. Заблокована сторінка все одно може з'являтися в результатах пошуку, якщо на неї посилаються інші сторінки. Використовуйте директиву noindex, обмеження доступу або видаліть сторінку, якщо її потрібно повністю виключити з пошуку.