Robots.txt генератор и валидатор

Направите правила за пузање и проверите којим путањама Googlebot може да приступи.

Правила за пузање

Почните са веб-пауком који треба да прати ова правила.

Мапе сајта

Генерисани robots.txt

0
Спремно. Пример блокира /admin за све веб-паукове.

Провера правила

    Тестирајте путању

    Ваша правила за пузање се креирају и проверавају у вашем прегледачу. Ништа се не шаље на BroBroGo.

    Честа питања

    Шта овај генератор може да дода у robots.txt?

    Додајте групу корисничких агената, путање за Allow и Disallow, као и једну или више URL адреса мапа сајта. Преглед је спреман за копирање у датотеку robots.txt.

    Како алат за проверу путање бира правило?

    Прати се Google-ов редослед подударања: побеђује најдужа подударна путања. Ако су подударна правила Allow и Disallow подједнако специфична, предност има Allow.

    Да ли Disallow уклања страницу из Google претраге?

    Не. Блокирана страница се и даље може појавити у резултатима претраге ако друге странице упућују линкове ка њој. Користите noindex ознаку, контролу приступа или уклоните страницу ако желите да је потпуно искључите из претраге.

    XML Форматер / ВалидаторФорматирајте, минификујте и проверите XML структуру директно у прегледачу.URL кодер/декодер + HTML ентитетиКодирајте URL адресе, декодирајте процентуално кодирање и маскирајте HTML ентитете.Генератор URL слагова (URL Slug Generator)Претворите наслове страница у чисте URL слагове са цртицама.XML генератор мапе сајтаПретворите URL адресе страница и метаподатке за пузање у спреман за употребу sitemap.xml.Hreflang генераторДодајте сваку локализовану URL адресу и преузмите комплетан скуп hreflang ознака са x-default.Провера канонских ознакаУнесите URL адресу странице да бисте пронашли њену канонску ознаку и упоредили је са адресом странице.Генератор правила преусмеравањаПретворите CSV мапирања извора и одредишта у 301 или 302 правила за Nginx, Apache и Vercel.