Генератор и валидатор на robots.txt
Създайте правила за обхождане и проверете до кои пътища има достъп Googlebot.
Правила за обхождане
Започнете с робота (crawler), за който трябва да важат тези правила.
Карти на сайта (Sitemaps)
Генериран robots.txt
0Проверка на правилата
Тестване на път
Вашите правила за обхождане се създават и проверяват в браузъра ви. Нищо не се качва в BroBroGo.
ЧЗВ
Какво може да добави този генератор в robots.txt?
Добавете група за потребителски агент (user-agent), разрешени (Allow) и забранени (Disallow) пътища, както и един или повече URL адреси за карти на сайта (sitemaps). Готовият код може да се копира директно във файл robots.txt.
Как инструментът за проверка на пътища избира правило?
Следва се редът на съвпадение на Google: печели най-дългият съвпадащ път. Ако съвпадащите правила Allow и Disallow са еднакво специфични, Allow има предимство.
Премахва ли директивата Disallow страница от Google Търсене?
Не. Блокирана страница все още може да се появява в резултатите от търсенето, ако други страници препращат към нея. Използвайте noindex, контрол на достъпа или премахнете страницата, ако искате тя да бъде напълно изключена от търсенето.