robots.txt erstellen: mit Sperre für KI-Crawler und Sitemaps

So verwenden Sie es

Wählen Sie den Standard für alle Crawler und tragen Sie die gesperrten Pfade ein, einen je Zeile.
Fügen Sie erlaubte Pfade für Ordner hinzu, die innerhalb eines gesperrten Bereichs offen bleiben müssen, und tragen Sie Ihre Sitemap-Adressen ein.
Entscheiden Sie unter KI-Crawler, ob Sie keine Gruppe hinzufügen, alle sperren oder alle erlauben.
Kopieren Sie die Datei oder laden Sie sie herunter und speichern Sie sie als robots.txt im obersten Ordner Ihrer Seite.

So liest ein Crawler die Datei

Ein Crawler befolgt die Gruppe, deren User-agent-Zeile ihn nennt. Nennt keine Gruppe ihn, befolgt er die Gruppe, die mit einem Stern beginnt und für alle Crawler gilt (RFC 9309, Abschnitt 2.2.1). Die Seite von Google zu robots.txt sagt, dass die Gruppe mit dem genauesten passenden User-agent verwendet und andere Gruppen ignoriert werden.

Passen eine gesperrte und eine erlaubte Angabe auf dieselbe Adresse, gewinnt der längere Pfad. Sind sie gleich lang, gewinnt die erlaubte Angabe (RFC 9309, Abschnitt 2.2.2). Google sagt, dass in diesem Fall die am wenigsten einschränkende Regel gilt.

Google verlangt die Datei im obersten Verzeichnis einer Seite, und ihr Name muss robots.txt sein.
Google ignoriert Zeilen, die es nicht versteht, und liest höchstens 500 Kibibyte der Datei.

Die KI-Crawler in diesem Werkzeug

Jedes Kennzeichen unten ist der Name, den sein Betreiber in der eigenen Dokumentation nennt, außer bei Bytespider, zu dem keine offizielle Seite gefunden wurde. Die Zwecke entsprechen den Angaben der Betreiber.

Kennzeichen	Betreiber und Zweck	Seite des Betreibers
GPTBot	OpenAI: crawlt Inhalte, die für das Training seiner generativen KI-Grundmodelle verwendet werden können	OpenAI-Bots-Seite
ClaudeBot	Anthropic: sammelt Webinhalte, die zum Training beitragen können	Hilfeseite Anthropic-Crawler
Google-Extended	Google: steuert, ob gecrawlte Inhalte in die Entwicklung von KI-Modellen fließen dürfen; Aufnahme in die Suche und Ranking bleiben unberührt	Dokumentation der Google-Crawler
PerplexityBot	Perplexity: zeigt Websites in seinen Suchergebnissen und verlinkt sie; es crawlt keine Inhalte für KI-Grundmodelle	Perplexity-Bots-Anleitung
CCBot	Common Crawl: baut ein offenes Archiv von Webdaten auf; robots.txt ist der Weg, sich abzumelden	Seite Common Crawl CCBot
Applebot-Extended	Apple: steuert, ob Inhalte für das Training der Apple-Grundmodelle genutzt werden dürfen	Seite „About Applebot“ von Apple
Bytespider	ByteDance: nicht bestätigt, weil keine offizielle Crawler-Seite gefunden wurde	Keine gefunden
meta-externalagent	Meta: Training von KI-Grundmodellen oder direktes Indexieren von Inhalten	Seite Meta-Webcrawler

Was robots.txt nicht tut

Es hält eine Seite nicht aus Google heraus. Die Einführung von Google zu robots.txt sagt, dass robots.txt kein Mittel ist, um eine Webseite aus Google herauszuhalten; nutzen Sie dafür eine noindex-Regel oder einen Passwortschutz.
Es hält keinen Crawler auf, der sich entscheidet, es zu ignorieren. Es bittet Crawler nur, die genannten Pfade zu meiden.
Google ignoriert Crawl-delay; die hier eingestellte Verzögerung wirkt daher bei Google nicht.

Rechenbeispiel: ein Shop, der KI-Crawler sperrt

Die Standardeingaben erlauben alle Crawler, sperren /admin/, /checkout/ und jede Adresse mit einem Sortierparameter und lassen /admin/help/ offen, weil dieser erlaubte Pfad länger ist als das gesperrte /admin/. Die KI-Crawler sind gesperrt, und die beiden Sitemaps stehen am Ende.

Die Tabelle zeigt, welche Zeile der Datei für drei Adressen entscheidet.

Crawler	Adresse	Regel, die entscheidet
Googlebot, der keine eigene Gruppe hat	/admin/login	Disallow: /admin/
Googlebot, der keine eigene Gruppe hat	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Häufig gestellte Fragen

Hält robots.txt eine Seite aus den Ergebnissen der Google-Suche heraus?

Nein. Die Einführung von Google zu robots.txt sagt, dass die Datei kein Mittel ist, um eine Webseite aus Google herauszuhalten. Nutzen Sie dafür eine noindex-Regel oder einen Passwortschutz.

Warum wiederholt jede KI-Gruppe die gesperrten Pfade?

Ein Crawler liest nur die Gruppe, die ihn nennt; die Gruppe für alle Crawler wird für ihn ignoriert. Die Einstellung Erlauben wiederholt daher Ihre gesperrten Pfade unter ihrer eigenen Zeile Allow: /, sodass diese Pfade für den KI-Crawler geschlossen bleiben.

Befolgt Google die Zeile Crawl-delay?

Nein. Die Seite von Google zu robots.txt sagt, dass andere Felder wie crawl-delay nicht unterstützt werden. Anthropic sagt, dass seine Crawler die nicht standardisierte Erweiterung Crawl-delay unterstützen.

Beeinflusst das Sperren von Google-Extended mein Ranking in der Google-Suche?

Nein. Die Crawler-Dokumentation von Google sagt, dass Google-Extended die Aufnahme einer Seite in die Google-Suche nicht beeinflusst und nicht als Ranking-Signal genutzt wird.

Hat der Betreiber das Kennzeichen Bytespider bestätigt?

Nein. Als dieses Werkzeug geprüft wurde, fand sich keine Seite eines ByteDance-Crawlers, daher stammt das Kennzeichen von Drittseiten. Suchen Sie nach Anfragen mit diesem Namen in Ihren Serverprotokollen, bevor Sie sich auf die Regel verlassen.

Wohin gehört die Datei?

In den obersten Ordner der Seite, damit sie unter der Stammadresse als robots.txt geöffnet wird. Die Seite von Google sagt, dass die Datei im obersten Verzeichnis einer Seite liegen muss.

Speichert das Werkzeug, was ich eingebe, oder sendet es das an einen Server?

Nein. Die Datei wird in Ihrem Browser erstellt. Nichts, was Sie eingeben, wird an uns gesendet oder gespeichert.

Quellen

Zahlen und Text zuletzt geprüft: Dienstag, 10. November 2026.

Ergebnis