Generátor a validátor robots.txt

Vytvárajte pravidlá prechádzania a kontrolujte, ku ktorým cestám má Googlebot prístup.

Pravidlá prechádzania

Začnite vyhľadávacím robotom (crawlerom), pre ktorého majú tieto pravidlá platiť.

Sitemapy

Vygenerovaný robots.txt

0
Pripravené. Príklad blokuje priečinok /admin pre všetkých robotov.

Kontrola pravidiel

    Otestovať cestu

    Vaše pravidlá prechádzania sa vytvárajú a kontrolujú priamo vo vašom prehliadači. Do BroBroGo sa nič neodosiela.

    Časté otázky

    Čo všetko dokáže tento generátor pridať do robots.txt?

    Pridajte skupinu pre user-agent, cesty pre Allow a Disallow a jednu alebo viac URL adries sitemap. Náhľad je okamžite pripravený na skopírovanie do súboru robots.txt.

    Ako nástroj na kontrolu ciest vyberá platné pravidlo?

    Riadia sa poradím zhody podľa Google: vyhráva najdlhšia zhodná cesta. Ak sú zhodné pravidlá Allow a Disallow rovnako špecifické, prednosť má Allow.

    Odstráni pravidlo Disallow stránku z vyhľadávania Google?

    Nie. Blokovaná stránka sa stále môže zobraziť vo výsledkoch vyhľadávania, ak na ňu odkazujú iné stránky. Ak potrebujete stránku úplne vylúčiť z vyhľadávania, použite značku noindex, obmedzenie prístupu (heslo) alebo stránku odstráňte.

    XML Formátovač a ValidátorFormátujte, minifikujte a kontrolujte štruktúru XML priamo vo vašom prehliadači.Kódovanie/dekódovanie URL a HTML entítKódujte URL adresy, dekódujte percentuálne zápisy a prevádzajte HTML entity.Generátor URL slugovPremeňte názvy stránok na čisté URL slugy oddelené spojovníkmi.Generátor XML sitemapPremeňte URL adresy stránok a metadáta pre vyhľadávače na pripravený súbor sitemap.xml.Generátor hreflangPridajte jednotlivé lokalizované URL adresy a získajte kompletnú sadu hreflang vrátane x-default.Kontrola kanonických značiekZadajte URL adresu stránky, nájdite jej kanonickú značku a porovnajte ju s adresou stránky.Generátor pravidiel presmerovaniaPremeňte CSV mapovania zdrojov a cieľov na pravidlá 301 alebo 302 pre Nginx, Apache a Vercel.