Robots.txt generator i validator

Kreirajte pravila indeksiranja i provjerite kojim putanjama Googlebot može pristupiti.

Pravila indeksiranja

Počnite s crawlerom koji treba pratiti ova pravila.

Mape sajta

Generisani robots.txt

0
Spremno. Primjer blokira /admin za sve crawlera.

Provjera pravila

    Testirajte putanju

    Vaša pravila indeksiranja se kreiraju i provjeravaju u vašem pregledniku. Ništa se ne šalje na BroBroGo.

    Česta pitanja

    Šta ovaj generator može dodati u robots.txt?

    Dodajte grupu user-agent, putanje za Allow i Disallow, te jedan ili više URL-ova mapa sajta. Pregled je spreman za kopiranje u robots.txt datoteku.

    Kako alat za provjeru putanje bira pravilo?

    Prati se Googleov redoslijed podudaranja: najduža podudarajuća putanja pobjeđuje. Ako su podudarajuća pravila Allow i Disallow jednako specifična, pobjeđuje Allow.

    Da li pravilo Disallow uklanja stranicu s Google pretrage?

    Ne. Blokirana stranica se i dalje može pojaviti u rezultatima pretrage ako drugi sajtovi upućuju na nju. Koristite noindex, kontrolu pristupa ili uklonite stranicu ako želite da je potpuno isključite iz pretrage.

    XML Formater / ValidatorFormatirajte, minifikujte i provjerite XML strukturu u Vašem pregledniku.URL enkodiranje/dekodiranje + HTML entitetiKodirajte URL-ove, dekodirajte procentualno kodiranje i eskejpujte HTML entitete.URL slug generatorPretvorite naslove stranica u čiste URL slugove s crticama.XML generator mapa sajtaPretvorite URL-ove stranica i metapodatke indeksiranja u spreman sitemap.xml.Hreflang generatorDodajte svaki lokalizovani URL i preuzmite kompletan set hreflang oznaka s x-default.Provjera kanonskih oznakaUnesite URL stranice da pronađete njen kanonski URL i uporedite ga s adresom stranice.Generator pravila preusmjeravanjaPretvorite CSV mapiranja izvora i odredišta u 301 ili 302 pravila za Nginx, Apache i Vercel.