Генератор и валидатор на Robots.txt

Изградете правила за индексирање и проверете до кои патеки може да пристапи Googlebot.

Правила за индексирање

Започнете со роботот за пребарување (crawler) кој треба да ги следи овие правила.

Мапи на сајтови

Генериран robots.txt

0
Подготвено. Примерот го блокира /admin за сите роботи.

Проверка на правила

    Тестирај патека

    Вашите правила за индексирање се креираат и проверуваат во вашиот прелистувач. Ништо не се испраќа на BroBroGo.

    ЧПП

    Што може да додаде овој генератор во robots.txt?

    Додајте група на кориснички агенти (user-agent), патеки за Allow и Disallow и една или повеќе URL-адреси на мапи на сајтови. Прегледот е подготвен за копирање во датотека robots.txt.

    Како алатката за проверка на патеки избира правило?

    Го следи редоследот на совпаѓање на Google: победува најдолгата патека што се совпаѓа. Ако правилата Allow и Disallow се еднакво специфични, победува Allow.

    Дали Disallow ја отстранува страницата од Google пребарувањето?

    Не. Блокираната страница сè уште може да се појави во резултатите од пребарувањето ако други страници водат до неа. Користете noindex, контрола на пристап или отстранете ја страницата кога сакате целосно да ја тргнете од пребарувањето.

    XML Форматирање и ВалидацијаФорматирајте, минифицирајте и проверете ја XML структурата во Вашиот прелистувач.URL кодер/декодер + HTML ентитетиКодирајте URL-адреси, декодирајте процентуални кодови и кодирајте HTML ентитети.Генератор на URL кратенки (URL Slug)Претворете ги насловите на страниците во чисти URL кратенки со цртички.Генератор на XML мапа на сајтПретворете ги URL-адресите на страниците и метаподатоците за индексирање во подготвен за употреба sitemap.xml.Генератор на HreflangДодајте ја секоја локализирана URL-адреса и добијте комплетен сет на hreflang ознаки со x-default.Проверка на канонични ознакиВнесете URL-адреса на страница за да ја најдете нејзината канонична ознака и да ја споредите со адресата на страницата.Генератор на правила за пренасочувањеПретворете ги CSV мапирањата на извор и дестинација во 301 или 302 правила за Nginx, Apache и Vercel.