Robots.txt generator & validator

Byg crawl-regler og tjek, hvilke stier Googlebot har adgang til.

Crawl-regler

Start med den crawler, der skal følge disse regler.

Sitemaps

Genereret robots.txt

0
Klar. Eksemplet blokerer /admin for alle crawlere.

Regeltjek

    Test en sti

    Dine crawl-regler oprettes og tjekkes i din browser. Intet uploades til BroBroGo.

    FAQ

    Hvad kan denne generator tilføje til robots.txt?

    Tilføj en user-agent-gruppe, Allow- og Disallow-stier samt en eller flere sitemap-URL'er. Forhåndsvisningen er klar til at blive kopieret over i en robots.txt-fil.

    Hvordan vælger stitjekkeren en regel?

    Den følger Googles prioriteringsrækkefølge: Den længste matchende sti vinder. Hvis matchende Allow- og Disallow-regler er lige specifikke, vinder Allow.

    Fjerner Disallow en side fra Google Søgning?

    Nej. En blokeret side kan stadig vises i søgeresultaterne, hvis andre sider linker til den. Brug noindex, adgangskontrol eller slet siden helt, hvis du vil holde den helt ude af søgninger.

    XML Formatter / ValidatorFormater, minificer og tjek XML-struktur direkte i din browser.URL-koder/afkoder + HTML-entiteterKod URL'er, afkod procent-kodninger og lav escaping på HTML-entiteter.URL Slug GeneratorForvandl sidetitler til rene URL-slugs med bindestreger.XML Sitemap GeneratorForvandl side-URL'er og crawl-metadata til en sitemap.xml, der er klar til brug.Hreflang-generatorTilføj hver lokaliseret URL og få et komplet sæt hreflang-tags med x-default.Kanonisk tag-tjekkerIndtast en side-URL for at finde dens kanoniske tag og sammenligne det med sidens adresse.Omdirigeringsregel-generatorForvandl CSV-tilknytninger af kilder og destinationer til 301- eller 302-regler for Nginx, Apache og Vercel.