Générateur et Validateur de Robots.txt

Créez des règles d’exploration et vérifiez les chemins accessibles à Googlebot.

Règles d’exploration

Commencez par le robot qui doit suivre ces règles.

Sitemaps

robots.txt généré

0
Prêt. L’exemple bloque /admin pour tous les robots.

Vérification des règles

    Tester un chemin

    Vos règles d’exploration sont créées et vérifiées dans votre navigateur. Rien n’est envoyé à BroBroGo.

    FAQ

    Que peut ajouter ce générateur à robots.txt ?

    Ajoutez des groupes User-agent, des chemins Allow et Disallow, ainsi qu’une ou plusieurs URL de sitemap. L’aperçu est prêt à copier dans un fichier robots.txt.

    Comment le test de chemin choisit-il une règle ?

    Il suit l’ordre de correspondance de Google : le chemin correspondant le plus long l’emporte. Si Allow et Disallow sont aussi spécifiques, Allow l’emporte.

    Disallow retire-t-il une page de Google Search ?

    Non. Une page bloquée peut encore apparaître si d’autres pages y renvoient. Utilisez noindex, un contrôle d’accès ou supprimez la page pour la retirer de la recherche.

    Formateur / Validateur XMLFormatez, minifiez et vérifiez la structure XML dans votre navigateur.Encodeur URL + entités HTMLEncodez les URL, décodez les échappements et convertissez les entités HTML.Générateur de slug d’URLTransformez des titres en slugs propres avec des tirets.