Generátor a validátor robots.txt
Sestavte si pravidla procházení a zkontrolujte, ke kterým cestám má Googlebot přístup.
Pravidla procházení
Začněte crawlerem (vyhledávacím robotem), pro kterého mají tato pravidla platit.
Sitemapy
Vygenerovaný robots.txt
0Kontrola pravidel
Otestovat cestu
Vaše pravidla procházení se vytvářejí a kontrolují přímo ve vašem prohlížeči. Do služby BroBroGo se nic neodesílá.
Časté dotazy
Co všechno mohu pomocí tohoto generátoru do robots.txt přidat?
Můžete přidat skupiny pro různé roboty (user-agent), povolené (Allow) a zakázané (Disallow) cesty a jednu nebo více URL adres sitemap. Náhled je okamžitě připraven ke zkopírování do vašeho souboru robots.txt.
Jak kontrolor cest vybírá platné pravidlo?
Řídí se prioritami shody Google: vítězí nejdelší odpovídající cesta. Pokud jsou odpovídající pravidla Allow a Disallow stejně specifická, vítězí Allow.
Odstraní direktiva Disallow stránku z vyhledávání Google?
Ne. Blokovaná stránka se stále může objevit ve výsledcích vyhledávání, pokud na ni odkazují jiné stránky. Chcete-li stránku spolehlivě udržet mimo vyhledávání, použijte tag noindex, omezení přístupu (heslo) nebo stránku zcela odstraňte.