So verwenden Sie es
- Fügen Sie Ihre Datei robots.txt unter Datei robots.txt ein.
- Tragen Sie den Pfad oder die vollständige Adresse unter Pfad oder Adresse ein und den Namen des Crawlers unter Name des Crawlers.
- Lesen Sie Für diesen Crawler erlaubt ab und dann die Zeile unter Regel, die entscheidet, um den Grund zu sehen.
So fällt die Entscheidung
Das Werkzeug wählt zuerst die Gruppe. Die User-agent-Zeilen, die den Crawler nennen, bilden ohne Beachtung der Groß- und Kleinschreibung eine Gruppe. Nennt keine ihn, gilt die Gruppe für alle Crawler, der Stern (RFC 9309, Abschnitt 2.2.1).
Innerhalb dieser Gruppe wird jede Regel verglichen, deren Muster die Adresse von ihrem ersten Zeichen an trifft. Das längste Muster gewinnt, und eine Erlaubnisregel gewinnt bei Gleichstand (RFC 9309, Abschnitt 2.2.2). Trifft keine Regel zu, ist die Adresse erlaubt. Die Datei /robots.txt selbst ist immer erlaubt.
- Ein Stern (*) in einem Muster passt auf beliebigen Text, und ein Dollarzeichen ($) am Ende eines Musters beendet den Treffer.
- Escapes von Buchstaben, Ziffern und den Zeichen - . _ ~ werden vor dem Vergleich dekodiert, daher sind %7E und ~ dasselbe.
- Kommentare beginnen bei einem Rautenzeichen, und ein leerer Wert von Allow oder Disallow wird ignoriert.
Wo Google und der RFC übereinstimmen
Die Seite von Google zu robots.txt beschreibt dieselben Regeln: Es wird die Gruppe mit dem genauesten passenden User-agent verwendet, die genaueste Regel nach der Länge ihres Pfades gewinnt, und bei einem Konflikt gewinnt die am wenigsten einschränkende Regel. Das Werkzeug folgt dem RFC, wo sich die beiden Texte im Wortlaut unterscheiden, und findet bei diesen Regeln keinen Unterschied.
- Google vergleicht Pfad und Abfrage. Der RFC sagt nicht, ob die Abfrage zum Pfad gehört; dieses Werkzeug vergleicht sie, wie es die Beispielzeilen auf der Seite von Google tun.
- Der RFC sagt nicht, was ein leerer Wert bedeutet. Google ignoriert ihn, und dieses Werkzeug ebenso.
Rechenbeispiel: drei Adressen in einer Datei
Die Standarddatei hat eine Gruppe für alle Crawler und eine Gruppe für Googlebot. Googlebot folgt nur seiner eigenen Gruppe, daher ist /drafts/ für ihn gesperrt, aber nicht für andere Crawler. Die Tabelle zeigt das Ergebnis für drei Anfragen.
Zeile 9 sperrt /private/ für Googlebot. Zeile 5 ist eine Erlaubnisregel, die länger ist als das gesperrte /private/, daher gewinnt sie für press-kit.html.
| Adresse | Crawler | Status | Regel, die entscheidet | Anwendbare Gruppe |
|---|---|---|---|---|
| /private/page.html | Googlebot | Gesperrt | Zeile 9: Disallow: /private/ | Zeile 7: User-agent: Googlebot |
| /private/press-kit.html | Bingbot | Erlaubt | Zeile 5: Allow: /private/press-kit.html | Zeile 2: User-agent: * |
| /drafts/new.html | Googlebot | Gesperrt | Zeile 8: Disallow: /drafts/ | Zeile 7: User-agent: Googlebot |
Häufig gestellte Fragen
Prüft das Werkzeug den Host-Namen in einer vollständigen Adresse?
Nein. Nur Pfad und Abfrage werden genutzt. Enthält die Datei Regeln für einen anderen Host, prüft das Werkzeug nicht, ob sie auf die eingegebene Adresse zutreffen.
Warum ist die Datei robots.txt selbst immer erlaubt?
RFC 9309 sagt, dass die Adresse /robots.txt implizit erlaubt ist, damit ein Crawler die Regeln immer lesen kann. Das Werkzeug folgt dieser Regel und zeigt das Ergebnis als Robots-Datei.
Was passiert, wenn zwei Regeln auf dieselbe Adresse passen?
Die Regel mit dem längeren Muster entscheidet, weil sie genauer ist. Sind die beiden Muster gleich lang, entscheidet die Erlaubnisregel.
Warum hat eine Regel mit leerem Wert keine Wirkung?
Die RFC-Grammatik erlaubt einen leeren Wert, sagt aber nicht, was er bedeutet. Die Seite von Google sagt, dass Crawler eine Regel ohne Pfad ignorieren, und dieses Werkzeug tut dasselbe.
Wird meine Datei an einen Server geschickt?
Nein. Die Datei wird in Ihrem Browser gelesen. Nichts, was Sie einfügen, wird an uns gesendet oder gespeichert.
Funktioniert eine Datei, die länger als 500 KiB ist, noch?
Es werden nur die ersten 500 KiB gelesen, so wie Google es tut. Das Werkzeug weist darauf hin, wenn die Datei länger ist, damit Sie sehen, ob eine Regel am Ende ignoriert würde.
Quellen
- RFC 9309 (englisch): Robots Exclusion Protocol
- Google Search Central (englisch): So interpretiert Google die robots.txt-Spezifikation, mit Beispielen zum Pfadvergleich
- Google Search Central (englisch): Einführung in robots.txt
Zahlen und Text zuletzt geprüft: Dienstag, 10. November 2026.