Funktionsweise und Zweck einer robots.txt-Datei
Die Datei robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Website liegt. Sie dient dazu, Web-Crawlern wie dem Googlebot Anweisungen darüber zu geben, welche Bereiche einer Website sie besuchen dürfen und welche nicht. Mit dem Robots.txt Generator & Validator können Sie diese Crawl-Regeln erstellen, bearbeiten und direkt überprüfen.
Das Tool startet standardmäßig mit einer vordefinierten Konfiguration:
User-agent: *Disallow: /admin
Diese Standardeinstellung blockiert den Pfad /admin für alle Crawler, während der Rest der Website für die Indexierung freigegeben bleibt. Über die Benutzeroberfläche können Sie spezifische Regeln für unterschiedliche Crawler definieren und anschließend testen, ob bestimmte Pfade Ihrer Website für einen ausgewählten Crawler zugänglich sind oder blockiert werden.
Erstellung von Crawl-Regeln und User-Agent-Direktiven
Der Generator ermöglicht es, gezielte Anweisungen für verschiedene Web-Crawler zu strukturieren. Jede Regelgruppe beginnt mit der Definition des Ziel-Bots:
- User-Agent: Bestimmt, für welchen Crawler die nachfolgenden Regeln gelten. Ein Sternchen
*steht als Platzhalter für alle Crawler. Namen von User-Agents dürfen keine Leerzeichen enthalten. - Pfad-Regeln (Allow / Disallow): Diese Regeln steuern den Zugriff auf bestimmte Verzeichnisse oder Dateien. Jeder Regelpfad muss zwingend mit einem Schrägstrich
/beginnen und darf keine Leerzeichen enthalten. Das Dollar-Zeichen$darf ausschließlich am Ende eines Regelpfads verwendet werden, um das genaue Ende einer URL zu markieren. - Sitemaps: Hier können XML-Sitemaps hinterlegt werden, um Suchmaschinen den direkten Weg zu allen wichtigen URLs der Website zu zeigen. Sitemap-URLs müssen immer als vollständige Adressen mit
http://oderhttps://angegeben werden.
Validierung und Fehlererkennung im Editor
Während der Erstellung der Regeln analysiert der Validator die Syntax und Struktur im Hintergrund. Sollten Fehler oder ineffiziente Anweisungen erkannt werden, gibt das Tool präzise Hinweise aus:
| Problem / Konflikt | Ursache und Auswirkung |
|---|---|
| Geben Sie einen User-Agent-Namen ohne Leerzeichen ein oder nutzen Sie * für alle Crawler. | Ein User-Agent enthält unzulässige Leerzeichen. |
| Regelpfade müssen mit / beginnen und dürfen keine Leerzeichen enthalten. | Ein Pfad wurde ohne führenden Schrägstrich oder mit Leerzeichen eingegeben. |
| Verwenden Sie $ nur am Ende eines Regelpfads. | Das Zeichen $ wurde fälschlicherweise in der Mitte eines Pfads platziert. |
| Diese Regel ist für denselben User-Agent doppelt vorhanden. | Eine identische Anweisung wurde für denselben Crawler wiederholt. |
| Allow und Disallow verwenden denselben Pfad. Google wendet Allow an, wenn beide Regeln gleich spezifisch sind. | Es liegt ein direkter Konflikt bei identischer Pfadlänge vor. Google priorisiert in diesem Fall die Freigabe. |
| Google fasst Gruppen zusammen, die denselben User-Agent benennen. | Derselbe User-Agent wurde in mehreren separaten Blöcken definiert. |
| Sitemap-URLs erfordern eine vollständige http:// oder https:// Adresse. | Die angegebene Sitemap-URL ist unvollständig. |
| Diese robots.txt ist zu groß, um hier geprüft zu werden. | Der Inhalt der generierten Datei überschreitet die Grenze von 100.000 Zeichen. |
Funktionsweise der Pfad-Prüfung nach Google-Standard
Der integrierte Pfad-Checker simuliert das Verhalten von Suchmaschinen-Crawlern anhand der offiziellen Priorisierungsregeln von Google. Wenn Sie einen URL-Pfad und einen Crawler testen, wertet das Tool die Regeln nach folgenden Kriterien aus:
- Längster übereinstimmender Pfad gewinnt: Google wertet immer die spezifischste Regel aus. Diejenige Regel, deren Pfad die meisten Zeichen mit der getesteten URL gemeinsam hat, setzt sich durch.
- Gleichstand bei der Spezifität: Wenn eine
Allow- und eineDisallow-Regel exakt gleich lang und spezifisch sind, gewinnt dieAllow-Regel. - Standardverhalten: Wenn überhaupt keine passende Regel auf den getesteten Pfad zutrifft, gibt das Tool die Meldung aus: Keine passende Regel. Google erlaubt diesen Pfad standardmäßig.
Die Testergebnisse werden mit den Labels Erlaubt — {rule} oder Blockiert — {rule} ausgegeben, sodass Sie genau nachvollziehen können, welche Zeile Ihrer robots.txt für die Entscheidung verantwortlich ist.
Grenzen von robots.txt bei der Indexierung
Ein häufiges Missverständnis ist, dass ein Disallow in der robots.txt-Datei eine Seite zuverlässig aus den Suchergebnissen fernhält. Dies ist nicht der Fall.
Wenn andere Websites oder interne Seiten über Hyperlinks auf eine blockierte URL verweisen, kann Google diese URL dennoch erfassen und in den Suchergebnissen anzeigen. Die robots.txt steuert lediglich das Crawling (das Herunterladen der Seite durch den Bot), nicht aber die Indexierung (die Aufnahme in den Suchindex).
Das Tool prüft nicht auf alternative Schutzmechanismen wie noindex-Meta-Tags, serverseitige Zugriffskontrollen (Passwortschutz) oder die tatsächliche Löschung von Seiten. Um eine Seite garantiert aus den Suchergebnissen auszuschließen, müssen diese Methoden außerhalb der robots.txt implementiert werden.
Datenschutz und lokale Verarbeitung
Die Erstellung und Validierung Ihrer Crawl-Regeln erfolgt vollständig lokal in Ihrem Webbrowser. Es werden keine Daten oder eingegebenen Pfade an BroBroGo übertragen oder auf externen Servern gespeichert.
FAQ
Was kann dieser Generator zur robots.txt hinzufügen? Fügen Sie eine User-Agent-Gruppe, Allow- und Disallow-Pfade sowie eine oder mehrere Sitemap-URLs hinzu. Die Vorschau kann direkt in eine robots.txt-Datei kopiert werden.
Wie wählt der Pfad-Checker eine Regel aus? Es folgt der Priorisierung von Google: Der längste übereinstimmende Pfad gewinnt. Wenn sich widersprechende Allow- und Disallow-Regeln exakt gleich spezifisch sind, gewinnt Allow.
Entfernt Disallow eine Seite aus der Google-Suche? Nein. Eine blockierte Seite kann dennoch in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Verwenden Sie noindex, einen Passwortschutz oder löschen Sie die Seite, wenn Sie sie sicher aus der Suche heraushalten wollen.