KI-Crawler in der robots.txt: GPTBot, ClaudeBot, PerplexityBot erklärt

Was sind KI-Crawler, und was regelt die robots.txt?

KI-Crawler sind Programme, mit denen Anbieter wie OpenAI, Anthropic oder Perplexity Websites automatisch lesen. Die robots.txt ist eine Textdatei unter ihre-domain.ch/robots.txt, die Crawlern sagt, welche Adressen sie aufrufen dürfen.¹ Jeder Crawler meldet sich mit einem Namen, dem User-Agent, und für jeden Namen kann die Datei eine eigene Regel enthalten.

Entscheidend ist, wofür ein Crawler liest. Die Anbieter unterscheiden bis zu drei Zwecke und schicken dafür getrennte Crawler:^2,3,4

• Training: Der Crawler sammelt Texte, mit denen künftige Sprachmodelle trainiert werden.
• Suche: Der Crawler liest Seiten, damit der KI-Dienst sie in Antworten nennen und verlinken kann, wie der Googlebot für die Google-Suche.
• Nutzer-Abruf: Der Dienst öffnet eine Seite nur, wenn eine Person im Chat danach fragt, etwa indem sie einen Link einfügt.

Weil die Zwecke getrennt sind, können Sie das Training ablehnen und trotzdem in den Suchantworten erscheinen. OpenAI schreibt, dass jede Einstellung unabhängig von den anderen gilt.² Begriffe erklärt das SEO- und AEO-Glossar.

Welche KI-Crawler gibt es?

Die wichtigsten KI-Crawler kommen von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple und Common Crawl. Der Name in der ersten Spalte steht genau so hinter User-agent:.

Stand Oktober 2026. Lesen Sie vor jeder Sperre die Dokumentation des Anbieters, sie ändert sich.

Google-Extended braucht eine Erklärung, denn der Eintrag ist kein Such-Crawler: Eine Sperre ändert nichts an Ihrer Sichtbarkeit in der Google-Suche und ist kein Rankingsignal.⁶ Auch aus den KI-Übersichten verschwinden Sie damit nicht, denn diese gehören zur Google-Suche.⁵

Welche Crawler sollte eine kleine Firma zulassen?

Lassen Sie alle Such-Crawler und Nutzer-Abrufe zu, beim Training entscheiden Sie selbst. Wer in ChatGPT, Claude, Perplexity, Copilot oder den KI-Übersichten von Google genannt werden will, braucht OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot. Sperrt die robots.txt etwa OAI-SearchBot, erscheint die Website laut OpenAI nicht in den Suchantworten von ChatGPT, höchstens noch als reiner Link.²

Beim Training gibt es kein Richtig oder Falsch. Zwei Fragen helfen:

• Sollen die Texte möglichst viele lesen? Leistungen, Preise und Kontakt schreiben Sie, damit man Sie findet. Hier spricht aus meiner Sicht wenig gegen das Training.
• Sind die Texte selbst Ihr Produkt? Kursunterlagen oder Vorlagen, mit denen Sie Geld verdienen, möchten Sie vielleicht nicht in fremden Modellen sehen. Dann ist eine Sperre vernünftig.

Eine Trainingssperre wirkt nur nach vorne: Laut Anthropic schliesst sie künftige Inhalte aus den Trainingsdaten aus.³ Schon Gesammeltes holt sie nicht zurück.

Vorlagen: So sieht die robots.txt aus

Für die meisten Firmen reicht eine robots.txt, die alles zulässt. Wer das Training ablehnt, ergänzt eine eigene Gruppe für die Trainings-Crawler.

Öffnen Sie zuerst ihre-domain.ch/robots.txt im Browser. Erscheint «Seite nicht gefunden» (Fehler 404), gibt es keine Datei, und alle dürfen lesen. Bei einem Serverfehler (5xx) liest Google die Website zunächst gar nicht.^10,11 Die Datei liegt im Hauptverzeichnis, und jede Subdomain braucht eine eigene.³ Ändern kann sie im Zweifel Ihr Hoster oder die Person, die Ihre Website betreut.

Haben Sie schon eine robots.txt, ersetzen Sie sie nicht, sondern ergänzen Sie nur die neue Gruppe oben. Bestehende Zeilen, etwa Sperren für einen Admin-Bereich, bleiben stehen.

Vorlage 1: Alles zulassen

# Alle Crawler dürfen alle Seiten lesen
User-agent: *
Allow: /

Sitemap: https://ihre-domain.ch/sitemap.xml

KI-Crawler brauchen keinen eigenen Eintrag, solange keine andere Regel sie sperrt. Eigene Allow-Gruppen schaden nicht, sind aber nur nötig, wenn ein Crawler anders behandelt werden soll.

Vorlage 2: Suche ja, bekannte Trainings-Crawler nein

# Training: nein
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Alle anderen Crawler dürfen lesen
User-agent: *
Allow: /

Sitemap: https://ihre-domain.ch/sitemap.xml

• User-agent: nennt den Crawler. Mehrere solche Zeilen untereinander bilden eine Gruppe.
• Disallow: / sperrt die ganze Website für diese Gruppe, Allow: / gibt sie frei.
• Hat ein Crawler eine eigene Gruppe, befolgt er nur diese. Die Regeln unter User-agent: * gelten für ihn dann nicht mehr.¹⁰
• Sitemap: zeigt allen Crawlern die Liste Ihrer Seiten, Zeilen mit # sind Kommentare.

Diese Vorlage sperrt die bekanntesten Trainings-Crawler, vollständig ist keine Liste: Auch Meta und ByteDance betreiben KI-Crawler,⁹ ihre Namen stehen in deren Dokumentation. Google-Extended fehlt mit Absicht: Der Eintrag regelt auch, ob Gemini-Apps und die Vertex-AI-API Ihre Inhalte für Antworten nutzen.⁶ Wer das ablehnt, ergänzt User-agent: Google-Extended in der ersten Gruppe.

Was kann die robots.txt nicht?

Die robots.txt ist eine Bitte, keine Sperre. Vier Grenzen sollten Sie kennen:

• Sie bindet nur Crawler, die sich daran halten. Nach eigenen Angaben beachten die Such- und Trainings-Crawler von OpenAI, Anthropic und Perplexity die Datei.^2,3,4 Alle anderen bremst sie nicht. Vertrauliches gehört hinter ein Passwort, wie es auch Google empfiehlt.¹
• Nutzer-Abrufe halten sich nicht immer daran. OpenAI schreibt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten, weil eine Person den Abruf auslöst.² Perplexity-User beachtet die robots.txt laut Perplexity in der Regel nicht.⁴ Anthropic gibt an, sich auch bei Claude-User daran zu halten.³
• Sie entfernt keine Seite aus der Suche. Eine gesperrte Adresse kann bei Google trotzdem erscheinen, dann ohne Beschreibung; dafür gibt es noindex.¹ Das wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist.¹²
• Sie nimmt Sie nicht gezielt aus den KI-Übersichten. Google-Extended wirkt dort nicht, und wer Googlebot sperrt, schadet auch der normalen Suche.⁵ Eigene Einstellungen dafür sind nosnippet⁵ und ein Schalter in der Search Console.¹³ Mehr im Ratgeber Google KI-Übersichten.

Auch eine llms.txt sperrt oder erlaubt nichts, sie fasst Ihre Website nur zusammen.

Sperrt Ihre Firewall KI-Crawler, ohne dass Sie es merken?

Ja, eine Firewall oder ein CDN (Content Delivery Network, ein Dienst, der Websites schneller ausliefert und vor Angriffen schützt) kann KI-Crawler abweisen, bevor sie die robots.txt lesen, und in der robots.txt sehen Sie davon nichts.

Das bekannteste Beispiel ist Cloudflare. Am 1. Juli 2025 stellte es um: Bekannte KI-Crawler wurden bei neu eingerichteten Domains standardmässig blockiert.¹⁴ Seit 2026 unterscheidet Cloudflare zwischen Such-, Agenten- und Trainings-Crawlern, die Voreinstellungen können sich dabei geändert haben.¹⁵ Was für Ihre Domain gilt, hängt davon ab, wann und wie sie eingerichtet wurde. Die Steuerung heisst «AI Crawl Control».¹⁶

Vorsicht bei groben Schaltern: Googlebot liest für Suche und KI-Funktionen zugleich.⁵ Prüfen Sie danach, ob er und Bingbot noch durchkommen.

• Geklärt, ob die Domain über Cloudflare oder einen ähnlichen Dienst läuft (Hoster fragen)
• KI-Crawler-Einstellung im Dashboard geprüft: Such-Crawler und Nutzer-Abrufe erlaubt
• Bot-Schutz des Hosters und Sicherheits-Plugins geprüft
• Googlebot und Bingbot nicht gesperrt
• Nach jeder Änderung in den Server-Logs nachgesehen

Wie sehen Sie, ob KI-Crawler Ihre Website besuchen?

Ob KI-Crawler Ihre Website besuchen, sehen Sie in den Zugriffsprotokollen (Server-Logs) Ihres Hosters. Sie halten jeden Abruf mit Uhrzeit, Seite und Namen des Absenders fest. Fragen Sie Ihren Hoster, wo Sie sie finden. Eine Zeile sieht vereinfacht so aus:

203.0.113.7 - - [12/Oct/2026:08:14:03 +0200] "GET /preise/ HTTP/1.1" 200 5120 "-" "Mozilla/5.0 … OAI-SearchBot …"

Hinter GET steht die Seite, danach der Statuscode, am Ende der Name des Crawlers.

1. Protokoll besorgenLaden Sie das Protokoll der letzten Tage herunter oder lassen Sie es sich schicken.
2. Nach den Namen suchenSuchen Sie im Texteditor mit Ctrl+F (Mac: Cmd+F) nach OAI-SearchBot, Claude-SearchBot, PerplexityBot und den anderen Namen aus der Tabelle.
3. Statuscode ansehen200 heisst «erfolgreich geliefert», viele Zeilen mit 403 heissen «abgewiesen»: Prüfen Sie dann Firewall und Bot-Schutz. Sehen Sie von einem Crawler nur Abrufe von /robots.txt, hält er sich vermutlich an eine Sperre in Ihrer Datei.

Ein Abruf heisst nicht, dass der Crawler Ihren ganzen Text sieht. Laut Vercel führten die Crawler von OpenAI, Anthropic und Perplexity Ende 2024 kein JavaScript aus.⁹ Text, der erst im Browser nachgeladen wird, kann ihnen fehlen. Prüfen Sie mit Rechtsklick und «Seitenquelltext anzeigen», ob Ihre Texte dort stehen.

Nennungen zeigen andere Berichte. Die Search Console zeigt im Bericht zu generativer KI, wie oft ein Link zu Ihrer Website in den KI-Übersichten und im KI-Modus zu sehen war.¹⁷ Die Bing Webmaster Tools zeigen seit Februar 2026 in einer Vorschau, wie oft Copilot Ihre Seiten als Quelle nennt.¹⁸ In der Webstatistik fallen Besuche mit utm_source=chatgpt.com auf.¹⁹ Mehr dazu in Google Search Console einrichten und In ChatGPT gefunden werden.

Sie möchten das nicht selbst durchgehen? In der AEO-Optimierung prüfe ich robots.txt, Hosting und Firewall auf gesperrte KI-Crawler, zusammen mit SEO zum Festpreis von CHF 1’800, online in 14 Tagen. Vorher bekommen Sie in drei Tagen eine kostenlose, unverbindliche Kurzprüfung Ihrer bestehenden Website: eine Liste, was ich für Google und KI-Antworten verbessern würde. Bezahlt wird erst, wenn alles online ist. Alle Pakete: Preise.