Robots.txt Generator & Validator

Erstellen Sie Crawl-Regeln und prüfen Sie, auf welche Pfade der Googlebot zugreifen kann.

Crawl-Regeln

Beginnen Sie mit dem Crawler, für den diese Regeln gelten sollen.

Sitemaps

Generierte robots.txt

0
Bereit. Das Beispiel blockiert /admin für alle Crawler.

Regel-Prüfung

    Einen Pfad testen

    Ihre Crawl-Regeln werden direkt im Browser erstellt und geprüft. Es werden keine Daten an BroBroGo übertragen.

    FAQ

    Was kann dieser Generator zur robots.txt hinzufügen?

    Fügen Sie eine User-Agent-Gruppe, Allow- und Disallow-Pfade sowie eine oder mehrere Sitemap-URLs hinzu. Die Vorschau kann direkt in eine robots.txt-Datei kopiert werden.

    Wie wählt der Pfad-Checker eine Regel aus?

    Es folgt der Priorisierung von Google: Der längste übereinstimmende Pfad gewinnt. Wenn sich widersprechende Allow- und Disallow-Regeln exakt gleich spezifisch sind, gewinnt Allow.

    Entfernt Disallow eine Seite aus der Google-Suche?

    Nein. Eine blockierte Seite kann dennoch in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Verwenden Sie noindex, einen Passwortschutz oder löschen Sie die Seite, wenn Sie sie sicher aus der Suche heraushalten wollen.

    XML-Formatter / ValidatorFormatieren, minimieren und prüfen Sie die XML-Struktur direkt in Ihrem Browser.URL Encoder/Decoder + HTML-EntitiesKodieren Sie URLs, dekodieren Sie Prozent-Kodierungen und maskieren Sie HTML-Entities.URL Slug GeneratorVerwandeln Sie Seitentitel in saubere, durch Bindestriche getrennte URL-Slugs.XML Sitemap GeneratorVerwandeln Sie Seiten-URLs und Crawl-Metadaten in eine einsatzbereite sitemap.xml.Hreflang GeneratorFügen Sie Ihre lokalisierten URLs hinzu und erhalten Sie ein vollständiges Hreflang-Set inklusive x-default.Canonical Tag CheckerGeben Sie eine Seiten-URL ein, um das Canonical-Tag zu finden und mit der Seitenadresse abzugleichen.Redirect Rule GeneratorErstellen Sie aus CSV-Zuordnungen im Handumdrehen 301- oder 302-Regeln für Nginx, Apache und Vercel.