Robots.txt Generator & Validator

Ibni regoli tal-crawl u ċċekkja liema mogħdija jista' jaċċessa Googlebot.

Regoli tal-crawl

Ibda bil-crawler li għandu jsegwi dawn ir-regoli.

Sitemaps

Robots.txt iġġenerat

0
Lest. L-eżempju jimblokka /admin għall-crawlers kollha.

Verifika tar-regoli

    Ittestja mogħdija

    Ir-regoli tal-crawl tiegħek jinħolqu u jiġu ċċekkjati fil-browser tiegħek. Xejn ma jittella' fuq BroBroGo.

    Mistoqsijiet Frekwenti

    X'jista' jżid dan il-ġeneratur f'robots.txt?

    Żid grupp ta' user-agent, mogħdijiet ta' Allow u Disallow, u URL wieħed jew aktar ta' sitemap. Il-preview hija lesta biex tiġi kkupjata f'fajl robots.txt.

    Kif jagħżel regola l-path checker?

    Isegwi l-ordni tal-qbil ta' Google: l-itwal mogħdija li taqbel tirbaħ. Jekk ir-regoli ta' Allow u Disallow li jaqblu huma speċifiċi bl-istess mod, Allow jirbaħ.

    Disallow ineħħi paġna minn Google Search?

    Le. Paġna mblukkata xorta tista' tidher fir-riżultati tat-tfittxija meta paġni oħra jorbtu magħha. Uża noindex, kontroll tal-aċċess, jew neħħi l-paġna meta jkollok bżonn iżżommha barra mit-tfittxija.

    XML Formatter / ValidatorFormatja, ikkompressa u vverifika l-istruttura tal-XML fil-browser tiegħek.URL Encoder/Decoder + HTML EntitiesIkkodifika URLs, iddekodifika percent escapes, u escape entitajiet HTML.URL Slug GeneratorBiddel it-titli tal-paġni f'URL slugs nodfa u b'singijiet.XML Sitemap GeneratorBiddel l-URLs tal-paġna u l-metadata tal-crawl f'sitemap.xml lest biex jintuża.Ġeneratur tal-HreflangŻid kull URL lokalizzat u ikseb sett sħiħ ta' hreflang b'x-default.Canonical Tag CheckerDaħħal URL ta' paġna biex issib il-kanoniku tagħha u tqabblu mal-indirizz tal-paġna.Redirect Rule GeneratorBiddel mappings ta' CSV ta' sors u destinazzjoni f'regoli 301 jew 302 għal Nginx, Apache u Vercel.