KI Crawler wie GPTBot und ClaudeBot steuern: warum 295 von 355 Firmenseiten jedem Bot die komplette Seite neu schicken

1. Einführung

Nachts klopfen Programme an Ihren Server, die niemand eingeladen hat. Sie laden Seiten, folgen Links, kommen wieder. Die Ratgeber zu diesem Thema kreisen fast alle um dieselbe Frage: Welche davon soll man aussperren? Wir haben im September 450 Websites deutscher Unternehmen geprüft und sind bei einer anderen Antwort gelandet. Über die Kosten entscheidet in den allermeisten Fällen nicht die Sperrliste, sondern die Antwort des Servers. Wer wissen will, wer Ihre Inhalte einsammelt, findet die Spur in den eigenen Protokolldateien. Und wer wissen will, wie weit er in KI-Antworten überhaupt vorkommt, beginnt mit einer Grundmessung der KI-Sichtbarkeit.

KI-Crawler sind Abrufprogramme, die Inhalte für Sprachmodelle einsammeln. Drei Familien lassen sich unterscheiden: Trainings-Crawler wie GPTBot und ClaudeBot, Such-Crawler wie OAI-SearchBot und Claude-SearchBot, und nutzerausgelöste Abrufe wie ChatGPT-User. Jede Familie trägt einen eigenen User-Agent in der robots.txt, und jede lässt sich getrennt erlauben oder blockieren.

Was das für Sie heißt: Diese Programme sind keine Randerscheinung. Sie holen sich Ihre Seiten, ob Sie es bemerken oder nicht, und was sie dabei lesen, steckt später in den Antworten, die Ihre Kunden bekommen. Wer alles sperrt, verschwindet aus diesen Antworten. Wer nichts regelt und den Server unaufgeräumt lässt, zahlt die Rechnung in Bandbreite. Beides ist an einem Vormittag zu klären.

2. Wer bei Ihnen anklopft: Die wichtigsten KI Crawler im Überblick

Ein KI-Crawler ist kein einheitliches Wesen. OpenAI, Anthropic, Perplexity AI und Google betreiben jeweils mehrere Programme mit unterschiedlichen Aufgaben, und ihre User-Agents lassen sich in der robots.txt getrennt voneinander ansprechen. Genau darin liegt die Entscheidung: Ein Trainings-Crawler nimmt Ihre Texte als Inhalte für das Training künftiger Modelle mit, ein Such-Crawler baut den Index, aus dem Antworten ihre Belege ziehen. Wer beides über einen Kamm schert, verliert Sichtbarkeit, ohne das KI-Training zu verhindern.

Neben diesen acht Kennungen laufen viele KI-Crawler mit deutlich kleinerem Volumen mit, darunter Applebot-Extended, Amazonbot, Meta-ExternalAgent und der Sammler CCBot, der die Grundlage mehrerer offener Datensätze bildet. Neue KI-Crawler erscheinen in kurzen Abständen, weshalb eine Konfiguration von robots.txt nichts ist, das man einmal schreibt und dann vergisst. Anthropic beschreibt die eigene Aufteilung in drei Programme in seiner Crawler-Dokumentation. Zur Wirkung einer Sperre steht dort ein Satz, den man zweimal lesen sollte. Wer Claude-User abschaltet, verhindert den Abruf als Antwort auf eine Nutzerfrage. Die Sichtbarkeit in der nutzergesteuerten Suche kann dadurch verringert werden. Perplexity trennt ähnlich und hält in der eigenen Bot-Dokumentation fest, dass PerplexityBot nicht dem Training dient. Änderungen an der Datei greifen dort erst nach bis zu 24 Stunden.

3. Was die robots.txt regelt: Bitte statt Schranke

Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Domain, die Kennungen auflistet und je Kennung festhält, welche Pfade abgerufen werden dürfen und welche gesperrt sind. Seit 2022 ist das Format als RFC 9309 verschriftlicht, und dort steht der Satz, der die ganze Debatte einordnet.

„Diese Regeln sind keine Form der Zugriffsberechtigung.“
(„These rules are not a form of access authorization.“, RFC 9309, Abschnitt 1)

Ein Schild am Gartentor, kein Zaun.

Die robots.txt ist eine Bitte, keine Schranke. Die großen Anbieter respektieren die robots.txt bei ihren automatischen Programmen, und OpenAI, Anthropic und Perplexity sagen das in ihrer Dokumentation auch zu. Dass einzelne Crawler Regeln ignorieren, kommt am Rand des Feldes vor, bei den genannten Anbietern gibt es dafür keinen belastbaren Hinweis. Bei nutzerausgelösten Abrufen sieht es anders aus: Perplexity hält ausdrücklich fest, dass ein solcher Abruf robots.txt-Regeln in der Regel übergeht, und OpenAI hält in der eigenen Bot-Dokumentation für ChatGPT-User sinngemäß dasselbe fest. Wer glaubt, mit drei Zeilen Disallow sei sein Material vom Netz genommen, irrt.

Zwei weitere Regeln aus demselben Dokument werden gern übersehen. Erstens darf ein Crawler die Datei bis zu 24 Stunden zwischenspeichern, weshalb jede Änderung mit Verzögerung wirkt. Zweitens, und das ist die teure Stelle: Ist die Datei wegen eines Server- oder Netzfehlers nicht erreichbar, gilt sie laut Standard als undefiniert. Der Crawler muss dann eine vollständige Sperre über die gesamte Domain annehmen. Eine halbe Stunde Fehler 503 auf dem Pfad zur robots.txt kann Sie damit für einen ganzen Crawl-Durchlauf aus dem Index halten.

Und das, ohne dass jemand etwas geändert hätte.

Das ist kein theoretisches Risiko. Wer Abrufe pauschal über die IP-Adresse aussperrt, erzeugt genau diesen Zustand, und Anthropic weist selbst darauf hin, dass ein solcher Block die eigene robots.txt unlesbar macht und deshalb kein verlässlicher Widerspruch ist. Wenn Ihnen der Zugriff auf Ihre Inhalte grundsätzlich etwas wert ist, lohnt der Blick darauf, wenn Abrufe Geld kosten statt nur Bandbreite.

4. Unsere Position: Das Crawl Budget entscheidet der Server, nicht die Sperrliste

Die meisten Ratgeber empfehlen eine gestaffelte Sperrliste: Such-Crawler erlauben, Trainings-Crawler blockieren, aggressive Sammler aussperren. Der Rat ist richtig. Er beschreibt nur einen Randfall. Wir haben im September 450 Websites deutscher Unternehmen geprüft, gezogen mit festem Zufallsstartwert aus einem öffentlichen Datenbestand über Betriebe mit 20 bis 5.000 Beschäftigten. 309 robots.txt-Dateien waren abrufbar. 30 davon nennen überhaupt eine KI-Kennung. 10 sperren einen Trainings-Crawler vollständig, und kein einziger dieser Betriebe sperrt einen Antwort-Crawler aus.

Die Staffel-Diskussion ist damit vor allem eine Debatte unter Publishern, die Inhalte verkaufen. An den übrigen Betrieben geht sie vorbei.

Sie regeln schlicht nichts.

Interessanter ist, was wir auf der zweiten Ebene gemessen haben, dort nämlich, wo der Traffic entsteht: Von 355 auswertbaren Inhaltsseiten schicken 295 bei jedem Abruf die vollständige Seite erneut. Nur 94 senden überhaupt eine Angabe mit, an der sich das Alter der Seite ablesen lässt, und nur 60 antworten auf eine Rückfrage nach Änderungen mit der kurzen Meldung, dass sich nichts geändert hat.

Das ist wie der Anruf beim Bäcker: Haben Sie heute noch Brot? Ein kurzes Ja genügt, niemand schickt vorsorglich den halben Laden vorbei.

Das klingt technisch, ist aber simpel. GPTBot crawlt Ihre Seite nicht ein einziges Mal, sondern immer wieder, und bei jedem Besuch fragt der Crawler: Hat sich seit meinem letzten Besuch etwas getan? Ein aufgeräumter Server antwortet mit einem knappen Nein und schickt nichts weiter. Ein unaufgeräumter schickt die ganze Seite, jedes Mal. Der Mittelwert lag im Median bei 26,5 Kilobyte je Inhaltsseite. Kommen eine Handvoll Programme im Tagesrhythmus wieder und klappern dabei jeweils hunderte Adressen ab, summiert sich das über einen Monat zu einer Größenordnung, die man auf der Hosting-Rechnung sieht.

Das Geld ist weg, der Gegenwert fehlt.

Google empfiehlt in der eigenen Anleitung zum Crawl-Budget genau diese Antwort und nennt sie beim Namen: Statuscode 304 unterstützen, damit ein Abrufsystem die zwischengespeicherte Fassung weiterverwendet. Dieselbe Anleitung hält fest, dass wiederholte Serverfehler die Crawl-Kapazität senken, das System also seltener vorbeischaut. Der Zusammenhang gilt für KI-Crawler genauso, denn sie sprechen dasselbe Protokoll. Wer viel Traffic von Abrufprogrammen sieht, senkt ihn mit dieser einen Einstellung, ohne einen einzigen Abruf zu verbieten.

Warum das zählt, zeigt der Blick auf das Verhältnis von Abruf zu Gegenleistung. Eine im September eingereichte Arbeit wertet dazu die öffentlichen Messungen aus. Für Mitte des Jahres kommt sie bei Google auf rund fünf abgerufene Seiten je vermitteltem Besucher. Perplexity liegt bei etwa 190, OpenAI bei mehreren hundert, Anthropic knapp unter 2.000.

Der Unterschied ist keine Nuance.

„Das offene Web lief auf einem ungeschriebenen Handel: Websites ließen Crawler herein, und Suchmaschinen schickten Besucher zurück.“
(„The open web ran on an unwritten bargain: sites admitted crawlers, and search engines sent visitors back.“, Chowdhury, arXiv)

Ein zweiter Befund zeigt, wie viel Last ohne jeden Gegenwert entsteht. In einer Auswertung von Vercel landeten 34,82 Prozent der Abrufe des ChatGPT-Crawlers auf Seiten, die es gar nicht mehr gibt. Bei Claude waren es 34,16 Prozent. Jeder dritte Abruf lief also ins Leere, und das aus Verzeichnissen, die längst umgezogen sind. Ein Postbote, der jeden dritten Brief an eine abgerissene Hausnummer trägt, würde sich beschweren. Dieselbe Messung hält fest, dass keiner der großen KI-Crawler JavaScript ausführt. Was erst im Browser zusammengesetzt wird, existiert für diese Programme nicht.

5. Schritt für Schritt: KI Crawler steuern und Last senken

Fünf Schritte, in dieser Reihenfolge. Die ersten beiden kosten Zeit. Die übrigen drei kosten je eine Handvoll Zeilen in der Konfiguration, und wenn Ihr Hoster ein gängiges System betreibt, sind zwei davon eine Einstellung im Verwaltungsbereich statt ein Eingriff in die Serverkonfiguration.

Schritt 1: Serverprotokoll auswerten

Bevor Sie etwas blockieren, schauen Sie nach, wer tatsächlich kommt. Im Zugriffsprotokoll Ihres Hosters steht jede Kennung mit Zeitstempel. Filtern Sie nach GPTBot, ClaudeBot, PerplexityBot, Bytespider, Bingbot und Googlebot und zählen Sie die Abrufe je Tag. Die Search Console zeigt daneben die Crawler von Google und deren Statistik zur Indexierung. Erst diese Liste sagt, ob Sie ein Lastproblem haben oder ein Sichtbarkeitsproblem.

Schritt 2: Ziel festlegen, Training oder Sichtbarkeit

Drei Haltungen sind vertretbar: alles erlauben für maximale Reichweite, alles sperren für maximalen Schutz, oder die Mitte, bei der das Training gesperrt und die Antwortsysteme hereingelassen werden. Für Betriebe, die Kunden gewinnen wollen, ist die Mitte meist die passende Wahl. Wer Inhalte verkauft, wird anders entscheiden. Halten Sie die Entscheidung schriftlich fest, sonst wird sie beim nächsten Relaunch versehentlich umgedreht.

Schritt 3: robots.txt sauber schreiben

Jeder User-Agent bekommt einen eigenen Block, und jeder Block bekommt eine eigene Zeile Disallow. Eine robots.txt für KI-Crawler nach der Mitte aus Schritt 2 sieht so aus: GPTBot Disallow, ClaudeBot Disallow, Bytespider Disallow, dazu ClaudeBot und Google-Extended sperren, CCBot ebenfalls. Keine Sperre erhalten OAI-SearchBot, Claude-SearchBot und PerplexityBot. GPTBot blockieren und OAI-SearchBot zugleich erlauben ist kein Widerspruch, sondern genau der Sinn getrennter Kennungen. Prüfen Sie zum Schluss, dass die Datei unter dem Pfad /robots.txt mit Status 200 und als reiner Text ausgeliefert wird.

Schritt 4: Bedingte Abrufe beantworten

Hier liegt die Stellschraube, die in unserer Stichprobe 295 von 355 Seiten ungenutzt lassen. Ihr Server soll zu jeder Seite mitschicken, wann sie zuletzt geändert wurde, und auf die Rückfrage eines Abrufsystems mit Status 304 antworten, wenn sich nichts getan hat. Bei gängigen Systemen ist das eine Einstellung im Zwischenspeicher, kein Umbau. Anthropic unterstützt zusätzlich eine Zeile Crawl-delay, die den Abstand zwischen zwei Abrufen vorgibt.

Schritt 5: Wege kürzen und nach einem Tag gegenprüfen

Tote Adressen und lange Weiterleitungsketten verbrennen Abrufe, die sonst Ihren echten Seiten zugutekämen. Räumen Sie deshalb die Sitemap auf, tragen Sie dort zu jeder Adresse das Änderungsdatum ein und führen Sie jede Weiterleitung möglichst in einem einzigen Sprung zum Ziel. Danach warten: Die Anbieter übernehmen Änderungen an der Datei erst nach bis zu 24 Stunden. Am Folgetag prüfen Sie im Protokoll, ob sich das Bild gedreht hat. Wenn die eigene Seite trotz sauberer Technik selten als Quelle auftaucht, hilft Erwähnungen in verlässlichen Medien aufzubauen.

6. Häufige Fehler bei der Konfiguration

Fünf Fehler sehen wir immer wieder. Vier davon kosten Sichtbarkeit, ohne dass jemand es merkt.

• Der Rundumschlag. User-agent: * mit Disallow: / sperrt jeden Bot-Zugriff aus, auch den von Googlebot. Wer nur KI-Bots meint, muss sie einzeln benennen.
• Die IP-Sperre als Ersatz. Sie wechselt mit jeder Anbieteränderung und macht nebenbei die eigene robots.txt unlesbar.
• Die Datei hinter einer Fehlerseite. Antwortet der Pfad mit 5xx, gilt laut Standard eine vollständige Sperre. Wer eine Schutzsoftware davorschaltet, prüft das besser einmal von außen.
• Die llms.txt als Ersatz. Diese Datei ist ein Vorschlag ohne verbindlichen Standard, und kein großer Anbieter hat ihre Auswertung bislang zugesagt. Sie ergänzt, sie ersetzt nichts.
• Der Inhalt im Browser statt im Dokument. Wird der Kerntext erst per JavaScript nachgeladen, sehen diese Programme eine leere Hülle. Sichtbarkeit ohne serverseitige Auslieferung gibt es nicht, und das gilt auch für Antworten ohne Klick.

Ein Missverständnis kommt dazu, das sich hartnäckig hält: Google-Extended blockieren nimmt Sie nicht aus den AI Overviews in der Google-Suche heraus. Google AI Overviews speisen sich aus demselben Index wie die klassische Suche, und der entsteht über Googlebot. Wer GPTBot erlauben und Google-Extended sperren will, trifft damit zwei voneinander unabhängige Entscheidungen.

Ein weiterer Punkt betrifft die Erwartung: Eine Sperre wirkt nicht rückwirkend. Was ein Modell bereits gelernt hat, bleibt darin. Gerade für Betriebe im Mittelstand heißt das, die Entscheidung nach vorn zu treffen statt nach hinten.

7. Fazit

Die Frage, ob GPTBot und ClaudeBot herein dürfen, ist schnell beantwortet und für die meisten Betriebe wenig folgenreich. Die Frage, was ein solcher Besuch kostet, beantwortet kaum jemand. In unserer Stichprobe hatten 30 von 309 Websites überhaupt eine Regel für ein KI-Programm, aber 295 von 355 Seiten schicken jedem Abruf ihren kompletten Inhalt erneut.

Im Umgang mit KI-Crawlern ist das Ziel deshalb ein doppeltes: eine robots.txt, die zwischen Training und Antwort unterscheidet, und ein Server, der auf die Rückfrage nach Änderungen ehrlich mit Nein antwortet. Beides zusammen senkt die Last und erhält die Sichtbarkeit. Eines allein tut keins von beidem zuverlässig. KI-Crawler steuern heißt deshalb: erst messen, dann trennen, dann den Server antworten lassen.

8. Anhang: Checkliste für eine Prüfung in dreißig Minuten

• Ruft die Adresse /robots.txt von außen mit Status 200 einen reinen Text aus?
• Stehen GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider und die gewünschten Antwortsysteme jeweils in einem eigenen Block?
• Gibt es irgendwo ein Disallow: / unter User-agent: *, das alles mitreißt?
• Sendet der Server zu einer Inhaltsseite ein Änderungsdatum oder eine Prüfsumme?
• Antwortet er auf eine Rückfrage mit Status 304 statt mit der ganzen Seite?
• Enthält die Sitemap ein Änderungsdatum je Adresse, und stimmt es?
• Steht der Kerntext im ausgelieferten Dokument, auch ohne JavaScript?
• Zeigt das Zugriffsprotokoll nach 24 Stunden das erwartete Bild?

Hinweis: Die genannten Messwerte stammen aus den verlinkten Veröffentlichungen und wurden am 30.09.2026 gegen die Originalquellen geprüft. Die Angaben zur eigenen Erhebung beziehen sich auf 450 angefragte Websites deutscher Unternehmen, davon 309 abrufbare robots.txt-Dateien und 355 auswertbare Inhaltsseiten, abgerufen im September. Es handelt sich um eine Stichprobe und nicht um eine repräsentative Untersuchung. KI-Systeme antworten nicht deterministisch, weshalb sich Wirkungen auf die Sichtbarkeit nur über wiederholte Messungen einschätzen lassen.