Generator și verificator Robots.txt

Configurați reguli de indexare și verificați ce căi pot fi accesate de Googlebot.

Reguli de indexare

Începeți cu robotul de căutare (crawler) care ar trebui să urmeze aceste reguli.

Sitemap-uri

Fișierul robots.txt generat

0
Pregătit. Exemplul blochează calea /admin pentru toți roboții de căutare.

Verificare reguli

    Testați o cale

    Regulile de indexare sunt create și verificate direct în browser. Nimic nu este încărcat pe serverele BroBroGo.

    Întrebări frecvente

    Ce se poate adăuga în robots.txt cu acest generator?

    Adăugați un grup de user-agent, căi de tip Allow și Disallow, precum și unul sau mai multe URL-uri de sitemap. Previzualizarea este gata pentru a fi copiată într-un fișier robots.txt.

    Cum alege verificatorul de cale regula aplicabilă?

    Acesta respectă ordinea de potrivire utilizată de Google: calea cu cea mai lungă potrivire are prioritate. Dacă regulile Allow și Disallow care se potrivesc sunt la fel de specifice, regula Allow are prioritate.

    Directiva Disallow elimină o pagină din Google Search?

    Nu. O pagină blocată poate apărea în continuare în rezultatele căutării dacă alte pagini trimit linkuri către ea. Utilizați directiva noindex, restricționarea accesului sau ștergeți pagina dacă doriți să o excludeți complet din rezultatele căutării.

    Formator / Validator XMLFormatați, minificați și verificați structura XML direct în browser.Codificator/Decodificator URL + Entități HTMLCodificați URL-uri, decodificați secvențe procentuale și convertiți entități HTML.Generator de URL SlugTransformați titlurile paginilor în slug-uri URL curate, separate prin cratime.Generator XML SitemapTransformați URL-urile paginilor și metadatele de indexare într-un fișier sitemap.xml gata de utilizare.Generator HreflangAdăugați fiecare URL localizat și obțineți un set complet de tag-uri hreflang cu x-default.Verificator de tag-uri canonicalIntroduceți URL-ul unei pagini pentru a-i găsi tag-ul canonical și a-l compara cu adresa paginii.Generator de reguli de redirecționareTransformați mapările CSV de tip sursă-destinație în reguli 301 sau 302 pentru Nginx, Apache și Vercel.