Robots.txt Generator & Validator

Bouw crawl-regels en controleer tot welke paden Googlebot toegang heeft.

Crawl-regels

Begin met de crawler die deze regels moet volgen.

Sitemaps

Gegenereerde robots.txt

0
Gereed. Het voorbeeld blokkeert /admin voor alle crawlers.

Regelcontrole

    Test een pad

    Je crawl-regels worden in je browser gemaakt en gecontroleerd. Er wordt niets geüpload naar BroBroGo.

    Veelgestelde vragen

    Wat kan deze generator toevoegen aan robots.txt?

    Voeg een user-agent-groep, Allow- en Disallow-paden en een of meer sitemap-URL's toe. De weergave is direct klaar om te kopiëren naar een robots.txt-bestand.

    Hoe kiest de pad-controlefunctie een regel?

    Het volgt de matching-volgorde van Google: het langste overeenkomende pad wint. Als de regels voor Allow en Disallow even specifiek zijn, wint Allow.

    Verwijdert Disallow een pagina uit Google Zoeken?

    Nee. Een uitgesloten pagina kan nog steeds in de zoekresultaten verschijnen als andere pagina's ernaar linken. Gebruik noindex, toegangsbeheer of verwijder de pagina als je deze absoluut buiten de zoekresultaten wilt houden.

    XML-formatter & -validatorFormatteer, minify en controleer de XML-structuur in je browser.URL Encoder/Decoder + HTML-entiteitenCodeer URL's, decodeer procent-escapes en escape HTML-entiteiten.URL Slug GeneratorZet paginatitels om in schone, met koppeltekens verbonden URL-slugs.XML Sitemap GeneratorZet pagina-URL's en crawl-metadata om in een direct bruikbare sitemap.xml.Hreflang GeneratorVoeg elke gelokaliseerde URL toe en ontvang een complete hreflang-set inclusief x-default.Canonieke Tag ControleVoer een pagina-URL in om de canonieke URL te vinden en te vergelijken met het pagina-adres.Redirect-regels GeneratorZet CSV-koppelingen van bron naar bestemming om in 301- of 302-regels voor Nginx, Apache en Vercel.