robots.txt-Generator für KI-Crawler: Suche zulassen, Training sperren

Welche KI-Crawler sollen Ihre Website lesen dürfen?

Lassen Sie die Such-Crawler zu, damit KI-Assistenten Ihre Firma nennen können, und entscheiden Sie beim Training selbst. Ein Crawler ist ein Programm, das Websites automatisch liest. Die Anbieter schicken dafür getrennte Crawler: Such-Crawler holen die Quellen für KI-Antworten, Trainings-Crawler sammeln Texte für KI-Modelle, und Nutzer-Abrufe öffnen eine Seite nur, wenn jemand einen KI-Assistenten danach fragt.^1,2,3

Voreingestellt ist alles zugelassen. Namen und Zwecke stammen aus der Dokumentation der Anbieter, Stand 18. Oktober 2026, und können sich ändern. Prüfen Sie wichtige Sperren deshalb vor dem Hochladen in den verlinkten Quellen.

# robots.txt fuer KI-Crawler
# Erstellt am 18.10.2026
# Stand der Crawler-Namen: 18.10.2026. Anbieter koennen Namen und Zwecke aendern.

# Such-Crawler (Quellen der KI-Antworten)
# Zugelassen (keine Regel noetig): OAI-SearchBot, Claude-SearchBot, PerplexityBot

# Training (Texte, aus denen KI-Modelle lernen)
# Zugelassen (keine Regel noetig): GPTBot, ClaudeBot, Applebot-Extended, CCBot

# Gemini (Google): Training und Antworten
# Zugelassen (keine Regel noetig): Google-Extended

# Abrufe im Auftrag einer Nutzerin (nur wenn jemand fragt)
# Zugelassen (keine Regel noetig): ChatGPT-User, Claude-User, Perplexity-User

# Alle anderen Crawler, auch Googlebot und Bingbot
User-agent: *
Allow: /

Wie sieht eine fertige robots.txt aus?

Eine robots.txt besteht aus Gruppen: User-agent: nennt den Crawler, Disallow: den gesperrten Pfad.⁸ Das Beispiel gehört zur erfundenen Muster Treuhand: Sie lässt Suche, Gemini und Nutzer-Abrufe zu, sperrt das Training und hält zwei Ordner für alle Crawler zu. (Muster Treuhand ist ein erfundenes Beispiel, auch die Website-Adresse ist erfunden.)

# robots.txt fuer KI-Crawler
# Erstellt am 18.10.2026
# Stand der Crawler-Namen: 18.10.2026. Anbieter koennen Namen und Zwecke aendern.

# Such-Crawler (Quellen der KI-Antworten)
# Zugelassen (keine Regel noetig): OAI-SearchBot, Claude-SearchBot, PerplexityBot

# Training (Texte, aus denen KI-Modelle lernen)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Gemini (Google): Training und Antworten
# Zugelassen (keine Regel noetig): Google-Extended

# Abrufe im Auftrag einer Nutzerin (nur wenn jemand fragt)
# Zugelassen (keine Regel noetig): ChatGPT-User, Claude-User, Perplexity-User

# Alle anderen Crawler, auch Googlebot und Bingbot
User-agent: *
Disallow: /intern/
Disallow: /entwurf/

# Seitenliste (Sitemap)
Sitemap: https://muster-treuhand.example/sitemap.xml

• Mehrere User-agent:-Zeilen untereinander bilden eine Gruppe. Disallow: / sperrt die ganze Website für diese Gruppe, Disallow: /intern/ nur den Ordner mit allem darin.⁸
• Zugelassene Crawler haben keine eigene Gruppe, für sie gilt User-agent: *. Sitemap: braucht die vollständige Adresse mit https://.^8,9

Wie kommt die Datei auf Ihre Website?

Die Datei heisst robots.txt und liegt im obersten Verzeichnis Ihrer Domain, in Unterverzeichnissen suchen Crawler sie nicht.⁹ Ihr Hoster oder die Person, die Ihre Website betreut, lädt sie hoch. Bei einem Baukasten oder WordPress gehört die robots.txt oft zum System: Ob und wo Sie sie ändern können, hängt vom Anbieter ab, fragen Sie in dessen Hilfe oder bei Ihrem Hoster nach. Was die Systeme unterscheidet, zeigt der Vergleich Baukasten, WordPress oder programmiert?

1. Bestehende Datei sichernSteht unter ihre-domain.ch/robots.txt Text, kopieren Sie ihn und bewahren Sie ihn auf. Wählen Sie dann oben «Ja, ich ergänze», bei «Seite nicht gefunden» «Nein, neue Datei».
2. Erzeugen und hochladenKopieren Sie das Ergebnis oder laden Sie es herunter. Eine neue Datei kommt ins oberste Verzeichnis, eine Ergänzung hängen Sie unten an die bestehende an. Jede Subdomain braucht ihre eigene Datei.^2,9
3. Nachsehen und wartenRufen Sie die Adresse noch einmal auf, Sie sehen jetzt den neuen Text. Laut OpenAI und Perplexity dauert es bis zu etwa 24 Stunden, bis die Suche eine Änderung berücksichtigt, und Google speichert die Datei in der Regel bis zu 24 Stunden zwischen.^1,3,9
4. Auf Fehler prüfenDer robots.txt-Bericht der Search Console zeigt, welche Datei Google gefunden hat, wann es sie zuletzt abgerufen hat und ob beim Lesen Fehler auftraten. Er steht nur zur Verfügung, wenn Sie die Search Console für Ihre ganze Domain eingerichtet haben.¹³ Die Einrichtung erklärt der Ratgeber Google Search Console einrichten.

Was gilt, wenn Sie schon eine robots.txt haben?

Ersetzen Sie die bestehende Datei nicht, sondern hängen Sie die neuen Zeilen an und wählen Sie im Generator «Ja, ich ergänze eine bestehende Datei». Drei Dinge sollten Sie kennen:

• Eine eigene Gruppe ersetzt die allgemeine. Hat ein Crawler eine eigene Gruppe, befolgt er nur diese, die Regeln unter User-agent: * gelten für ihn nicht mehr.⁸
• Doppelte Namen heben sich auf. Steht ein Name wie GPTBot schon in Ihrer Datei, löschen Sie die alte Gruppe zuerst: Zwei Gruppen für denselben Crawler werden zusammengelegt, und bei gleichem Pfad soll laut RFC 9309 die Erlaubnis gelten.⁸
• Ein altes Disallow: / sperrt alle. Unter User-agent: * sperrt es auch Googlebot und Bingbot. Was dann bei Google passiert, beschreibt der Ratgeber Website bei Google nicht gefunden?

Was bewirkt eine Sperre, und was kann die robots.txt nicht?

Eine Sperre wirkt je nach Crawler unterschiedlich, und die robots.txt bleibt eine Bitte, kein Schutz: Die Datei ist öffentlich lesbar, Vertrauliches gehört hinter ein Passwort.¹⁰ Drei Grenzen sollten Sie kennen:

• Nutzer-Abrufe. Laut OpenAI gilt die Datei für ChatGPT-User möglicherweise nicht, Perplexity-User ignoriert sie in der Regel, Claude-User beachtet sie laut Anthropic.^1,2,3
• Suchergebnisse. Eine gesperrte Adresse kann bei Google trotzdem erscheinen, dann ohne Beschreibung. Dagegen hilft noindex (ein Hinweis im Seitencode, die Seite nicht in die Suche aufzunehmen), das nur bei nicht gesperrten Seiten wirkt.¹⁰
• Firewalls. Eine Firewall oder ein CDN (ein Dienst, der Websites schneller ausliefert und vor Angriffen schützt) kann Crawler abweisen, bevor sie die Datei lesen. Cloudflare stellte am 1. Juli 2025 die Voreinstellung für neue Domains auf das Blockieren bekannter KI-Crawler um.¹²

Mehr dazu im Ratgeber unter Was kann die robots.txt nicht? und Sperrt Ihre Firewall KI-Crawler? Eine llms.txt sperrt oder erlaubt dagegen nichts, sie fasst Ihre Website für KI-Assistenten zusammen. Zusammenstellen können Sie sie mit dem llms.txt-Generator, ob Ihre Firma für KI-Assistenten sichtbar ist, zeigt der kostenlose AEO-Check.

Checkliste vor dem Hochladen

• OAI-SearchBot, Claude-SearchBot und PerplexityBot sind zugelassen, wenn Sie in KI-Antworten genannt werden möchten.
• Sie haben bewusst entschieden, welche Trainings-Crawler gesperrt sind und ob Google-Extended (Gemini) dazugehört.
• Unter User-agent: * steht kein Disallow: /, ausser Ihre Website soll nicht öffentlich sein. Googlebot und Bingbot sind nicht gesperrt.
• Die Sitemap-Zeile enthält die vollständige Adresse mit https:// und steht nur einmal in der Datei.
• Den alten Text einer bestehenden Datei haben Sie aufbewahrt.
• Die Datei liegt im obersten Verzeichnis, jede Subdomain hat ihre eigene, und weder Hoster noch Firewall weisen Such-Crawler ab.
• Der robots.txt-Bericht der Search Console zeigt keine Fehler.

Ob KI-Assistenten Ihre Firma nennen, hängt an mehr als an dieser Datei: an klaren Inhalten, bestätigten Firmendaten und einer Website, die Crawler lesen können. Der Zugang für KI-Crawler gehört zu AEO, der Optimierung für KI-Antworten. Möchten Sie das nicht selbst einrichten? Meine SEO- und AEO-Optimierung kostet CHF 1’800 zum Festpreis. Schicken Sie mir den Link zu Ihrer Website an noah@noahfrank.ch. In drei Tagen bekommen Sie eine kostenlose, unverbindliche Kurzprüfung Ihrer bestehenden Website: eine Liste, was ich für Google und KI-Antworten verbessern würde. Alle Preise stehen auf der Seite Preise.