Robots.txt generatorius ir tikrintuvas

Kurkite nuskaitymo taisykles ir tikrinkite, kuriuos kelius gali pasiekti „Googlebot“.

Nuskaitymo taisyklės

Pradėkite nuo paieškos roboto, kuriam turėtų būti taikomos šios taisyklės.

Svetainės medžiai

Sugeneruotas robots.txt

0
Paruošta. Pavyzdyje blokuojamas /admin kelias visiems paieškos robotams.

Taisyklių patikra

    Išbandyti kelią

    Jūsų nuskaitymo taisyklės sukuriamos ir tikrinamos naršyklėje. Nieko nesiunčiama į „BroBroGo“.

    DUK

    Ką šis generatorius gali pridėti prie robots.txt?

    Pridėkite „user-agent“ grupę, „Allow“ ir „Disallow“ kelius bei vieną ar daugiau svetainės medžio (sitemap) URL. Sugeneruotą peržiūrą galite iškart nukopijuoti į savo robots.txt failą.

    Kaip kelių tikrinimo įrankis pasirenka taisyklę?

    Ji vadovaujasi „Google“ taisyklių derinimo tvarka: laimi ilgiausias sutampantis kelias. Jei sutampančios „Allow“ ir „Disallow“ taisyklės yra vienodai tikslios, pirmenybė teikiama „Allow“.

    Ar „Disallow“ taisyklė pašalina puslapį iš „Google“ paieškos?

    Ne. Užblokuotas puslapis vis tiek gali pasirodyti paieškos rezultatuose, jei kitos svetainės pateikia nuorodas į jį. Jei norite, kad puslapis nebūtų įtrauktas į paiešką, naudokite „noindex“ žymą, prieigos kontrolę arba pašalinkite puslapį.

    XML formatavimo ir validavimo įrankisFormatuokite, minifikuokite ir tikrinkite XML struktūrą savo naršyklėje.URL koduotuvas/dekoduotuvas + HTML esybėsKoduokite URL, dekoduokite procentinį kodavimą ir apsaugokite HTML esybes.URL adreso fragmentų (Slug) generatoriusPaverskite puslapių pavadinimus į švarius, brūkšneliais atskirtus URL adreso fragmentus.XML svetainės medžio (Sitemap) generatoriusPaverskite puslapių URL ir nuskaitymo metaduomenis į paruoštą naudoti sitemap.xml failą.„Hreflang“ generatoriusPridėkite kiekvieną lokalizuotą URL ir gaukite pilną „hreflang“ rinkinį su „x-default“.Kanoninių žymų tikrinimo įrankisĮveskite puslapio URL, kad surastumėte jo kanoninę žymą ir palygintumėte ją su puslapio adresu.Nukreipimo taisyklių generatoriusPaverskite šaltinio ir tikslo CSV atitikmenis į 301 arba 302 taisykles, skirtas „Nginx“, „Apache“ ir „Vercel“.