Drei Arten von KI-Crawlern
Die wichtigste Erkenntnis für die robots.txt: Training und Suche sind bei allen großen Anbietern getrennt. OpenAI schreibt ausdrücklich, dass beide Einstellungen unabhängig voneinander sind – Sie können GPTBot sperren und OAI-SearchBot erlauben.
Für Sichtbarkeit erlauben
Suche
- Bauen den Suchindex der KI-Systeme auf
- Entscheiden, ob Sie in Antworten erscheinen und verlinkt werden
- OAI-SearchBot, Claude-SearchBot, PerplexityBot
- Für Google und Copilot: Googlebot und Bingbot
Wenn jemand Ihre Seite öffnen lässt
Abruf für Nutzer
- Kein automatisches Crawlen
- Ruft eine Seite ab, weil ein Mensch danach fragt
- ChatGPT-User, Claude-User, Perplexity-User
- robots.txt wird hier laut OpenAI und Perplexity nicht immer beachtet
Unabhängig steuerbar
Training
- Sammeln Inhalte für künftige Modelle
- Kein Einfluss auf die Suche, laut den Anbietern
- GPTBot, ClaudeBot, Google-Extended, Applebot-Extended
- Sperren ist eine geschäftliche Entscheidung
Grafik einbinden
Sie dürfen diese Grafik kostenlos auf Ihrer Website zeigen – mit Quellenangabe. Code kopieren und in Ihre Seite einfügen:
Damit wird die Entscheidung einfach. Wer in ChatGPT, Claude, Perplexity und Copilot genannt werden will, erlaubt die Such-Crawler. Ob die eigenen Inhalte in das Training künftiger Modelle einfließen dürfen, ist eine zweite, davon unabhängige Frage.
Sperren Sie nie pauschal „alle KI-Bots“. Genau das passiert aber oft unbemerkt – über ein Sicherheits-Plugin, den Hoster oder eine Bot-Abwehr wie bei Cloudflare. Prüfen Sie neben der robots.txt auch diese Stellen.
Alle wichtigen KI-Crawler im Überblick
Die Namen in der ersten Spalte stehen so im Feld User-agent der robots.txt und in den Protokollen Ihres Servers.
12
KI-Crawler von 6 Anbietern in der Tabelle
Dokumentationen der Anbieter
3
davon Such-Crawler: OAI-SearchBot, Claude-SearchBot, PerplexityBot
Dokumentationen der Anbieter
Grafik einbinden
Sie dürfen diese Grafik kostenlos auf Ihrer Website zeigen – mit Quellenangabe. Code kopieren und in Ihre Seite einfügen:
| User-agent | Anbieter | Zweck laut Anbieter | Empfehlung |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Websites in der Suche von ChatGPT anzeigen. Ohne ihn erscheinen Sie dort nicht. | Erlauben |
| ChatGPT-User | OpenAI | Abruf bei Nutzeraktionen, kein automatisches Crawlen | Erlauben |
| GPTBot | OpenAI | Training von Modellen | Ihre Entscheidung |
| OAI-AdsBot | OpenAI | Prüft Landingpages von Anzeigen in ChatGPT | Erlauben, wenn Sie dort werben |
| Claude-SearchBot | Anthropic | Qualität der Suchergebnisse von Claude | Erlauben |
| Claude-User | Anthropic | Abruf, wenn ein Nutzer Claude etwas fragt | Erlauben |
| ClaudeBot | Anthropic | Inhalte, die ins Training einfließen können | Ihre Entscheidung |
| PerplexityBot | Perplexity | Websites in Perplexity finden und verlinken, nicht für Training | Erlauben |
| Perplexity-User | Perplexity | Abruf bei Nutzeraktionen | Erlauben |
| Google-Extended | Training und Grounding für Gemini – kein Einfluss auf die Google-Suche | Ihre Entscheidung | |
| Applebot-Extended | Apple | Training generativer Modelle von Apple | Ihre Entscheidung |
| CCBot | Common Crawl | Öffentliches Web-Archiv, das viele für Training nutzen | Ihre Entscheidung |
Was die Anbieter im Einzelnen schreiben
OpenAI: Seiten, die den OAI-SearchBot ausschließen, werden in den Suchantworten von ChatGPT nicht gezeigt, können aber noch als reiner Navigationslink auftauchen. OpenAI empfiehlt, den Bot zu erlauben und Anfragen aus den veröffentlichten IP-Bereichen zuzulassen. Bis eine Änderung der robots.txt in der Suche wirkt, vergehen laut OpenAI rund 24 Stunden. ChatGPT-User crawlt nicht automatisch; weil die Abrufe von Nutzern ausgehen, gelten die Regeln der robots.txt dafür laut OpenAI möglicherweise nicht.
OpenAI
Ohne OAI-SearchBot keine Anzeige in der ChatGPT-Suche. Änderungen wirken nach rund 24 Stunden.
Anthropic
Alle drei Bots beachten die robots.txt, auch Crawl-delay. Sperren per robots.txt statt per IP empfohlen.
Perplexity
PerplexityBot dient nicht dem Training. Perplexity-User ignoriert die robots.txt in der Regel.
Google-Extended ist kein eigener Crawler, sondern ein Token – und kein Ranking-Signal.
Microsoft
Copilot baut auf dem Bing-Index auf. Ab 2027 eigene Angaben für Training und KI-Antworten.
Grafik einbinden
Sie dürfen diese Grafik kostenlos auf Ihrer Website zeigen – mit Quellenangabe. Code kopieren und in Ihre Seite einfügen:
Anthropic erklärt, dass seine Bots die robots.txt beachten, und unterstützt zusätzlich die nicht standardisierte Angabe Crawl-delay. Anthropic empfiehlt, über die robots.txt zu sperren statt über IP-Adressen. Wer Claude-SearchBot oder Claude-User sperrt, kann laut Anthropic an Sichtbarkeit verlieren.
Perplexity schreibt, der PerplexityBot werde nicht für das Training von KI-Modellen eingesetzt, und empfiehlt, ihn zu erlauben. Perplexity-User ignoriert die robots.txt laut Perplexity in der Regel, weil ein Nutzer den Abruf angefordert hat.
Google beschreibt Google-Extended als eigenes Token ohne eigenen Crawler: Gecrawlt wird mit den normalen Google-Crawlern. Das Token steuert, ob Inhalte für das Training von Gemini und das Grounding in Gemini-Apps genutzt werden dürfen. Auf die Google-Suche wirkt es nicht, und es ist kein Ranking-Signal.
Microsoft beschreibt Copilot Chat als Dienst, der auf Daten aus dem Bing-Suchdienst aufbaut. Ende Oktober 2026 hat Microsoft angekündigt, ab dem 1. Februar 2027 getrennte Angaben für das Training und für die Verwendung in KI-Antworten von Bing, Copilot und Microsoft 365 zu beachten. Die normale Bing-Suche bleibt laut Microsoft davon unberührt.
Die robots.txt zum Kopieren
Das Beispiel erlaubt alle Crawler für Suche und Nutzerabrufe, sperrt die Crawler für das Training und lässt alles andere wie bisher. Wer das Training erlauben will, ändert im zweiten Block Disallow: / in Allow: / – oder lässt den Block ganz weg.
- Bestehende robots.txt sichernunter /robots.txt im Hauptverzeichnis
- Blöcke einfügenSuche erlauben, Training nach Wunsch
- TestenSearch Console und Bing Webmaster Tools
- Firewall prüfenBot-Abwehr darf Such-Crawler nicht blocken
- WartenChatGPT: rund 24 Stunden
Grafik einbinden
Sie dürfen diese Grafik kostenlos auf Ihrer Website zeigen – mit Quellenangabe. Code kopieren und in Ihre Seite einfügen:
Mehrere User-agent-Zeilen untereinander teilen sich die Regeln darunter. Ein Crawler folgt dem Block, der ihn namentlich nennt; nur wer nirgends genannt ist, folgt dem Block mit *. Passen Sie die Pfade im letzten Block an Ihr Shopsystem an.
# Suche und KI-Antworten: erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Training: gesperrt (zum Erlauben Disallow durch Allow ersetzen)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
# Alle anderen, auch Googlebot und Bingbot:
User-agent: *
Allow: /
Disallow: /warenkorb/
Disallow: /mein-konto/
Sitemap: https://www.ihr-shop.de/sitemap.xmlDiese Website nutzt eine ähnliche robots.txt, erlaubt aber auch das Training – wir wollen, dass KI-Systeme unsere Inhalte kennen. Sie ist öffentlich unter /robots.txt.
Prüfen, ob die Crawler wirklich durchkommen
Die robots.txt ist nur eine Bitte. Ob ein Crawler wirklich an Ihre Inhalte kommt, entscheiden auch Firewall, CDN und Server. Dort entstehen die meisten unbemerkten Sperren.
- Bot-Abwehr beim CDN oder HosterBlockt unbekannte Bots oft per VoreinstellungHäufig
- Sicherheits-Plugin im Shop oder CMSSperrt „KI-Bots“ mit einem SchalterHäufig
- Alte robots.txt mit Disallow für alleEtwa aus der Zeit vor dem LivegangGelegentlich
- Inhalte nur per JavaScript geladenDer Crawler sieht eine leere SeiteGelegentlich
- Ratenbegrenzung am ServerLiefert Fehler 429 statt InhaltGelegentlich
HäufigGelegentlich
Grafik einbinden
Sie dürfen diese Grafik kostenlos auf Ihrer Website zeigen – mit Quellenangabe. Code kopieren und in Ihre Seite einfügen:
So prüfen Sie es: Suchen Sie in den Protokollen Ihres Servers nach den Namen aus der Tabelle oben. Tauchen OAI-SearchBot, Claude-SearchBot und PerplexityBot auf und bekommen sie den Status 200, ist alles in Ordnung. Sehen Sie 403 oder 429, blockt etwas vor der robots.txt. Tauchen sie gar nicht auf, kennen die Systeme Ihre Seiten vermutlich noch nicht.
Für Google und Copilot gelten die bekannten Werkzeuge: Search Console und Bing Webmaster Tools zeigen, ob Googlebot und Bingbot Ihre Seiten abrufen und indexieren. Wie es danach weitergeht, steht im GEO-Leitfaden; was die llms.txt dazu beiträgt, im Ratgeber llms.txt erstellen.