Generador i validador de robots.txt
Creeu regles de rastreig i comproveu a quines rutes pot accedir Googlebot.
Regles de rastreig
Comenceu amb el rastrejador que ha de seguir aquestes regles.
Mapes del lloc
Robots.txt generat
0Comprovació de regles
Prova una ruta
Les vostres regles de rastreig es creen i es comproven al vostre navegador. No es puja res a BroBroGo.
PMF
Què pot afegir aquest generador al robots.txt?
Afegiu un grup d'user-agent, rutes Allow i Disallow, i una o més URL de mapa del lloc. La vista prèvia està llesta per copiar-la en un fitxer robots.txt.
Com tria una regla el comprovador de rutes?
Segueix l'ordre de coincidència de Google: guanya la ruta de coincidència més llarga. Si les regles Allow i Disallow coincidents són igual d'específiques, guanya Allow.
Disallow elimina una pàgina de la Cerca de Google?
No. Una pàgina bloquejada pot continuar apareixent als resultats de cerca si altres pàgines l'enllacen. Utilitzeu noindex, control d'accés o elimineu la pàgina si voleu que quedi fora de les cerques.