Robots.txt Generator & Validator

Sestavite pravila plazenja in preverite, do katerih poti lahko dostopa Googlebot.

Pravila plazenja

Začnite s spletnim pajkom, za katerega naj veljajo ta pravila.

Kazala spletnega mesta (Sitemaps)

Generirana datoteka robots.txt

0
Pripravljeno. Primer blokira pot /admin za vse spletne pajke.

Preverjanje pravil

    Preizkusi pot

    Vaša pravila plazenja se ustvarijo in preverijo v vašem brskalniku. Nič se ne prenaša na BroBroGo.

    Pogosta vprašanja

    Kaj vse lahko s tem generatorjem dodam v robots.txt?

    Dodajte skupino uporabniških agentov, poti za Allow in Disallow ter enega ali več URL-jev kazal sitemap. Predogled je takoj pripravljen za kopiranje v datoteko robots.txt.

    Kako preverjevalnik poti izbere pravilo?

    Sledi Googlovemu vrstnemu redu ujemanja: zmaga najdaljša ujemajoča se pot. Če sta ujemajoči se pravili Allow in Disallow enako specifični, prevlada Allow.

    Ali pravilo Disallow odstrani stran iz Googlovega iskanja?

    Ne. Blokirana stran se še vedno lahko pojavi med rezultati iskanja, če nanjo kažejo povezave z drugih strani. Če želite stran popolnoma umakniti iz iskanja, uporabite oznako noindex, omejitev dostopa ali pa stran odstranite.

    Oblikovovalnik / validator XMLOblikujte, minificirajte in preverite strukturo XML neposredno v brskalniku.URL kodirnik/dekodirnik + HTML entiteteKodirajte URL-je, dekodirajte odstotkovno kodiranje in pretvorite HTML entitete.Generator URL slugovSpremenite naslove strani v čiste, z vezaji ločene URL sluge.Generator XML kazal spletnih mest (Sitemap)Pretvorite URL-je strani in metapodatke za plazenje v pripravljeno datoteko sitemap.xml.Generator oznak hreflangDodajte posamezne lokalizirane URL-je in prejmite celoten nabor oznak hreflang z x-default.Preverjevalnik kanoničnih oznakVnesite URL strani, da poiščete njen kanonični URL in ga primerjate z naslovom strani.Generator pravil za preusmeritveSpremenite CSV preslikave virov in ciljev v pravila 301 ali 302 za Nginx, Apache in Vercel.