Generador y Validador de Robots.txt
Crea reglas de rastreo y comprueba qué rutas puede abrir Googlebot.
Reglas de rastreo
Empieza por el rastreador que debe seguir estas reglas.
Sitemaps
robots.txt generado
0Revisión de reglas
Probar una ruta
Tus reglas de rastreo se crean y revisan en tu navegador. No se sube nada a BroBroGo.
Preguntas frecuentes
¿Qué puede añadir este generador a robots.txt?
Añade grupos User-agent, rutas Allow y Disallow, y una o más URL de sitemap. La vista previa queda lista para copiarla a un archivo robots.txt.
¿Cómo elige una regla el comprobador de rutas?
Sigue el orden de coincidencia de Google: gana la ruta coincidente más larga. Si Allow y Disallow tienen la misma especificidad, gana Allow.
¿Disallow quita una página de Google Search?
No. Una página bloqueada puede seguir apareciendo si otras páginas enlazan a ella. Usa noindex, control de acceso o elimina la página si debe quedar fuera de la búsqueda.