Générateur et validateur de robots.txt
Créez des règles d’exploration et vérifiez les chemins auxquels Googlebot peut accéder.
Règles d’exploration
Commencez par le robot d’exploration (crawler) qui doit suivre ces règles.
Sitemaps
Fichier robots.txt généré
0Vérification des règles
Tester un chemin
Vos règles d’exploration sont créées et vérifiées dans votre navigateur. Rien n’est téléversé vers BroBroGo.
FAQ
Que peut ajouter ce générateur à un fichier robots.txt?
Ajoutez un groupe d’agents d’utilisateur, des chemins d’autorisation (Allow) et d’interdiction (Disallow), ainsi qu’une ou plusieurs URL de sitemap. L’aperçu est prêt à être copié dans un fichier robots.txt.
Comment l’outil de vérification de chemin choisit-il une règle?
Il suit l’ordre de correspondance de Google : le chemin correspondant le plus long l’emporte. Si des règles Allow et Disallow correspondantes sont de spécificité égale, la règle Allow l’emporte.
La directive Disallow retire-t-elle une page des résultats de recherche Google?
Non. Une page bloquée peut tout de même s’afficher dans les résultats de recherche si d’autres pages pointent vers elle. Utilisez la balise noindex, des contrôles d’accès ou supprimez la page pour l’exclure complètement des résultats de recherche.