SEO Tools Limitierung in der KI Suche: 14 von 145 Websites sperren die Crawler aus, auf denen Ihre Tool Daten beruhen

1. Einführung: Was SEO Tools über die KI Suche sagen können

Der Monatsbericht liegt auf dem Tisch, die Kurven zeigen nach oben, die Positionen sind stabil. Dann fragt jemand aus der Geschäftsführung, warum das Unternehmen in ChatGPT nicht vorkommt. In dem Bericht steht dazu nichts. Er kann es auch nicht, denn er misst eine Trefferliste. Beantwortet wird inzwischen aber in einem Chatfenster, und dort entscheidet sich, welche Anbieter überhaupt genannt werden. Wie aus Suchbegriffen ganze Fragen wurden, haben wir beschrieben, als wir zeigten, wie Prompts Suchbegriffe ablösen. Prompts sind dabei schlicht die Fragen, die Nutzer in ein KI-System eintippen.

Die Limitierung klassischer SEO Tools in der KI Suche ist ein Messproblem: Diese Werkzeuge erfassen Positionen, Suchvolumen und Verlinkungen einer Trefferliste. Ob ein KI-System die eigene Marke in seiner Antwort nennt, steht dort nicht. Diese Auskunft entsteht erst aus wiederholten Abfragen, aus den eigenen Serverdaten und aus dem prüfbaren Zustand der Website.

Was das für Sie heißt: Ihr Bericht bleibt richtig. Er beantwortet nur eine andere Frage als die, die Ihre Kunden gerade stellen. Bevor Sie ein weiteres Werkzeug abonnieren, klären Sie deshalb zuerst, welche Auskunft Sie überhaupt brauchen. Danach lässt sich entscheiden, ob dafür ein Programm nötig ist oder ein Blick in die eigenen Daten genügt.

Der nüchterne Einstieg kostet nichts. Ein GEO-Audit hält fest, was heute messbar ist und was nicht. GEO, kurz für Generative Engine Optimization, bezeichnet die Arbeit an der Sichtbarkeit in KI-Antworten. Der Unterschied zur klassischen Suchmaschinenoptimierung liegt nicht im Handwerk. Er liegt in der Frage, die am Ende beantwortet werden soll.

2. Klassische SEO Tools und KI Messung im Schnellüberblick

Die Frage nach den besten SEO-Tools und den besten KI-Tools führt in die Irre, solange nicht feststeht, welche Auskunft gebraucht wird. Sechs Instrumente stehen zur Auswahl. Sie widersprechen sich nicht, sie beantworten verschiedene Fragen. Die Übersicht ordnet sie nach Leistung und Grenze.

Die Tabelle zeigt ein Muster. Je näher ein Instrument an der Trefferliste arbeitet, desto genauer misst es und desto weniger sagt es über KI-Antworten. Je näher es an der Antwort arbeitet, desto relevanter wird die Auskunft und desto unschärfer die Zahl. Kein Werkzeug schließt diese Lücke allein, weshalb sich in der Praxis eine Kombination bewährt hat: ein geschätzter Wert für die Sichtbarkeit in KI-Antworten und daneben mehrere harte Belege aus den eigenen Serverdaten.

3. Was klassische SEO Tools und KI-Tools gut können

Ein Abgesang wäre hier fehl am Platz. Diese Werkzeuge sind ausgereift, und sie sparen jeden Monat Arbeitstage. Suchmaschinenoptimierung mit KI meint dabei zwei verschiedene Dinge: KI als Werkzeug in der eigenen Arbeit und KI als Ort, an dem gesucht wird. Der Einsatz von KI in der SEO ist im ersten Fall längst Alltag.

3.1 Keyword-Recherche, Rankings und Zielgruppe

Die Keyword-Recherche bleibt die Grundlage jeder SEO-Strategie. Ahrefs oder Semrush zeigen, welche Keywords nachgefragt werden, welche Rankings die Wettbewerber halten und welche Long-Tail-Keywords ohne großen Aufwand erreichbar sind. Diese Datenmengen manuell zu sichten, wäre in keinem Mittelstandsbudget darstellbar. Auch die Zielgruppe lässt sich daraus schärfer beschreiben: welche Fragen sie stellt und mit welcher Absicht.

3.2 Content-Erstellung mit KI-Tools wie ChatGPT

Auf der Content-Seite haben KI-Tools für SEO die Arbeit spürbar beschleunigt. Surfer SEO vergleicht einen Entwurf semantisch mit den organisch erfolgreichen Seiten und liefert einen Content Score; die Integration von Surfer SEO in den Editor spart den Fensterwechsel. Frase erzeugt aus der SERP eine Gliederung. neuroflash und Jasper generieren deutschsprachige SEO-Texte, Meta-Beschreibungen und Überschriften. Für WordPress gibt es erweiterte KI-Funktionen, die dieselben SEO-Aufgaben direkt im Editor erledigen.

Welche die besten KI-SEO-Tools sind, hängt an der Aufgabe. Für die Content-Erstellung liefern andere Werkzeuge die besten Ergebnisse als für die technische Prüfung, und wer KI-Tools für SEO nutzen will, sollte diese Trennung kennen. Gute Ergebnisse entstehen ohnehin dort, wo ein Mensch den Entwurf danach prüft.

3.3 Wo der Mehrwert am größten ist

Diese Automatisierung ist echt und effizient. Ein Team, das zehn Produktseiten optimieren soll, kommt mit KI-gestützter Vorarbeit in zwei Tagen dorthin, wo es früher zwei Wochen brauchte. Der Mehrwert liegt in der gesparten Zeit, nicht in höheren Scores. Auch Datenanalyse und Auswertung lassen sich weitgehend automatisieren, von wiederkehrenden Auswertungen bis zur Prüfung strukturierter Daten.

Künstliche Intelligenz hat also zwei Rollen in der Suchmaschinenoptimierung. Erfahrene SEOs kennen die erste seit Jahren. Die zweite ist neu, und genau dort beginnen die blinden Flecken.

4. Die Limitierung im Detail: vier blinde Flecken

Vier Lücken lassen sich sauber benennen. Sie sind keine Mängel einzelner Anbieter, sondern Folgen davon, wie diese Werkzeuge ihre Daten gewinnen. Jede Lücke trifft eine andere Kennzahl, die heute in Berichten steht.

4.1 Eine Position ist keine Nennung

Ein Ranking beschreibt einen Platz in einer sortierten Liste. Eine KI-Antwort hat keine Liste. Sie hat einen Fließtext, in dem einige Anbieter auftauchen und die übrigen nicht. Selbst innerhalb eines Hauses fallen diese Entscheidungen unterschiedlich aus.

Der Anbieter Profound hat die drei Google-Varianten im Mai getrennt vermessen, auf Basis von 2,64 Milliarden Zitationen. Ergebnis: Gemini teilt nur rund 27 Prozent seiner Markennennungen mit den Übersichten mit KI und 29 Prozent mit dem KI-Modus. Auch die Zahl der Quellen je Durchlauf geht auseinander, von 6,6 bei Gemini bis 15,2 im KI-Modus, nachzulesen in der Auswertung von Profound. Wer die drei Systeme zu einer Google-Zahl zusammenzieht, mittelt genau die Unterschiede weg, die zählen. ChatGPT und Google beantworten dieselbe Frage ohnehin verschieden. Für die Auskunft, ob eine Marke genannt wird, ist eine Position also nur begrenzt relevant. Wie diese Antworten oberhalb der Trefferliste entstehen, haben wir an anderer Stelle beschrieben, nämlich wie AI Overviews entstehen.

4.2 Für ganze Fragen gibt es kein Suchvolumen

Suchvolumen ist ein Rückblick auf getippte Suchbegriffe. Fragen an ein KI-System sind länger, persönlicher und in dieser Formulierung oft einmalig. Ein Suchvolumen dafür existiert nicht, und keine Datenbank kann es nachliefern.

AirOps hat 245.000 Prompts ausgewertet, die Marketing-Teams in ihren Werkzeugen beobachten. Diese beobachteten Fragen häufen sich bei 6 bis 7 Wörtern, oberhalb von zehn Wörtern wird es dünn. Die Fragen, die Menschen tatsächlich stellen, liegen weiter draußen. Nachzulesen ist das im Long-Tail-Report von AirOps vom März.

„Marken glauben deshalb womöglich, ihre Sichtbarkeit sei abgedeckt, während ihnen viele der Fragen entgehen, die den Abruf und die Zitierung am ehesten prägen“
(„As a result, brands may think they have visibility coverage while missing many of the prompts most likely to shape retrieval and citation.“)

Beobachtet wird der bequeme Teil der Kurve, entschieden wird am anderen Ende. Es ist, als zählte ein Wirt nur die Gäste am Tresen und wunderte sich über den leeren Saal.

4.3 Ein Messwert ohne Streuung ist kein Messwert

Eine Position in der Trefferliste ist über Stunden stabil. Eine KI-Antwort gleicht dagegen eher einem Würfelbecher als einem Thermometer. Dieselbe Frage, zweimal gestellt, liefert unterschiedliche Empfehlungen, und zwar ohne dass sich an der Website etwas geändert hätte.

Conductor hat das systematisch vermessen: 14.000 Abfragen, verteilt auf zehn Branchen, sieben Frageabsichten, vier KI-Systeme und je 50 Durchläufe pro Zelle. Am stärksten schwankt ausgerechnet die Kaufabsicht. Von zehn Marken, die in zwei Durchläufen derselben Kauffrage insgesamt auftauchten, standen nur vier in beiden, also 40 Prozent. Preisfragen kommen auf 58 Prozent. Am stabilsten bleiben Vergleichsfragen mit 63 Prozent, dokumentiert in der Studie von Conductor.

„Die Marken, die einem kaufbereiten Kunden empfohlen werden, wechseln fast jedes Mal“
(„The brands recommended to a customer ready to buy change almost every time.“)

Für einen Bericht heißt das: Eine einzelne Zahl ohne Angabe zur Streuung sagt wenig, und Ziel ist es deshalb, einen Mittelwert über viele Durchläufe auszuweisen und die Schwankungsbreite offen daneben zu stellen. Alles andere erzeugt eine Genauigkeit, die es nicht gibt.

4.4 Die Datengrundlage der Werkzeuge hat Löcher

Ein Rang-Tracking ist nur so gut wie der Index dahinter, und dieser Index entsteht durch Crawler (Programme, die Websites selbsttätig abrufen und auslesen). Jede Website legt in ihrer robots.txt fest, welche davon sie hereinlässt.

Wir haben im September nachgezählt und dafür aus dem frei abrufbaren Link-Index eines klassischen SEO-Anbieters alle deutschen Domains gezogen, davon systematisch jede 150., insgesamt 246 Adressen. 145 lieferten eine auswertbare robots.txt aus. 27 davon nennen überhaupt einen klassischen SEO-Crawler, und 14 sperren mindestens einen vollständig aus, am häufigsten BLEXBot, MJ12bot, DotBot, SemrushBot und AhrefsBot. In unseren Tests ist das der Grund, warum Wettbewerbsdaten für einzelne Marktbegleiter auffällig dünn ausfallen.

Der zweite Befund derselben Stichprobe ist deutlicher. Nur 26 der 145 robots.txt-Dateien erwähnen überhaupt ein Abrufprogramm eines KI-Anbieters. 119 schweigen dazu, und lediglich 6 sperren GPTBot vollständig. Das deckt sich mit unserer Messung an einer anderen Stichprobe im selben Monat, in der 41 von 44 Websites GPTBot nicht gesperrt hatten.

Man liest daraus zweierlei. Erstens ist die Datengrundlage der klassischen Werkzeuge an den Rändern unvollständig. Zweitens regeln die meisten Betriebe den Zugang für KI-Systeme bis heute gar nicht, weder in die eine noch in die andere Richtung. Beides steht in keinem Dashboard, aber in jeder robots.txt.

5. Spezialisierte KI-Werkzeuge: was sie messen und was sie schätzen

Die naheliegende Antwort auf die vier Lücken lautet: ein spezialisiertes Werkzeug dazukaufen. Ahrefs oder Semrush und eine Reihe junger Anbieter liefern inzwischen genau das, im Markt unter dem Begriff AI Visibility geführt. In beiden Tools steckt dieselbe Mechanik wie bei den Spezialisten: Sie stellen den KI-Systemen eine Liste von Fragen, wiederholen das planmäßig und zählen aus, wie oft eine Marke genannt oder verlinkt wurde.

Das ist ein echter Fortschritt. Es ist auch der Punkt, an dem die meisten Ratgeber aufhören.

Unsere Position: Der Zukauf tauscht ein Problem gegen ein anderes. Aus der Rangfrage wird eine Stichprobenfrage. Wie belastbar der Wert ist, hängt davon ab, wie oft abgefragt wird und ob das Werkzeug überhaupt sehen darf, was es nicht erwartet hat.

Genau dazu gibt es seit September eine Messung. Dmitrij Żatuchin hat in einer Untersuchung zu wiederholten Abfragen 300 Kombinationen aus Frage und KI-System geprüft, mit je 15 Durchläufen und 1.470 ausgewerteten Organisationen. Fünf der sechs Systeme nannten bis zum fünfzehnten Durchlauf immer noch neue Marken, in 86 bis 92 Prozent der Fälle. Ein einzelner Durchlauf zeigt nur 62 bis 77 Prozent dessen, was fünf Durchläufe zusammen ergeben.

Die schärfste Aussage der Arbeit betrifft die Bauweise der Werkzeuge selbst. Viele von ihnen arbeiten mit einer festen Liste beobachteter Marken und zählen nur, was auf dieser Liste steht.

„Eine an eine feste Namensliste gebundene Erhebung erzeugt Plateaus, die eine offene Auswertung wieder auflöst“
(„roster-bounded tracking manufactures plateaus that open extraction removes.“)

Übersetzt in den Alltag: Das Dashboard zeigt eine ruhige Linie, weil es nur nach den Namen sucht, die jemand vorher eingetippt hat. Ein Wettbewerber, der neu auftaucht, bleibt unsichtbar. Es ist wie eine Inventur, bei der nur die Regale gezählt werden, die auf dem Formular stehen.

Brauchbar bleiben solche Werkzeuge trotzdem als Trendanzeige, doch für einen belastbaren Ausgangswert benötigen sie drei Dinge: eine offene Auswertung, genügend Wiederholungen je Frage und eine ausgewiesene Schwankungsbreite. Wie sich daraus eine belastbare Kennzahl bauen lässt, haben wir getrennt beschrieben.

6. Direkter Vergleich: welches Werkzeug welche Frage beantwortet

Vier Kriterien trennen die beiden Welten und helfen bei der Entscheidung, welches Instrument wann trägt.

Reproduzierbarkeit. Ein Rang ist nachprüfbar, eine Antwort nur im Mittel. Klassische SEO-Tools gewinnen dieses Kriterium deutlich. Wer eine Zahl braucht, die morgen noch gilt, findet sie dort und nicht im KI-Dashboard.

Vollständigkeit. In diesem Punkt gewinnt keine der beiden Welten. Der Index der klassischen Anbieter hat Löcher, wo Websites die Crawler aussperren. Die Stichprobe der spezialisierten Werkzeuge hat Löcher, wo zu selten abgefragt wird. Vollständig ist allein das eigene Serverlog, die Kassenrolle des Betriebs: Dort steht jeder Vorgang, auch der unerwartete.

Zurechenbarkeit. Die Google Search Console führt seit Ende August weltweit einen Leistungsbericht zu generativen KI-Funktionen. Er zählt Impressionen für die Übersichten mit KI und den KI-Modus und gruppiert sie nach Seiten, Ländern und Zeiträumen. Eine Dimension für die Suchanfrage steht dort nicht. Sie erfahren also, dass Sie erschienen sind, aber nicht, auf welche Frage hin. Der Traffic aus KI-Systemen erscheint in der eigenen Auswertung zudem häufig ohne erkennbare Herkunft.

Kosten. Ein Rang-Tracking kostet im Mittelstand einen niedrigen dreistelligen Betrag im Monat. Ein spezialisiertes KI-Werkzeug mit genügend Durchläufen liegt darüber, weil jede Wiederholung Abfragen verbraucht. Sparsame Tarife erkaufen ihren günstigen Preis mit weniger Durchläufen, womit die Aussagekraft sinkt, und die Zahlen aus externen Tools bleiben ohnehin Schätzungen. Diese Rechnung sollte offen auf dem Tisch liegen.

Wo sich die beiden Disziplinen darüber hinaus überschneiden, zeigt unser Beitrag dazu, worin sich GEO unterscheidet.

7. Unsere Empfehlung für den Mittelstand: erst prüfen, dann abonnieren

Ein KMU benötigt keine dritte Software. Es benötigt eine Reihenfolge. Zuerst werden die Bedingungen geprüft, die sich eindeutig feststellen lassen, danach wird gemessen, was sich nur schätzen lässt.

Fünf Prüfpunkte lassen sich an jeder Website objektiv abhaken. Erstens: Lässt die robots.txt die Abrufprogramme der KI-Anbieter herein? Zweitens muss der Kerninhalt schon im ausgelieferten Dokument stehen und darf nicht erst durch Skripte entstehen. Drittens gehören Leistung, Ort und Zuständigkeit in strukturierten Daten in den Quelltext. Viertens zeigt das Serverlog, ob diese Programme tatsächlich vorbeikommen. Und fünftens zählt, ob der Name des Unternehmens außerhalb der eigenen Website überhaupt auftaucht.

Der letzte Punkt wird am häufigsten übersehen. Ein KI-System formuliert seine Antwort aus dem, was andere über ein Unternehmen geschrieben haben. Fehlen solche Belege, hilft auch die beste Auszeichnung der eigenen Seite wenig. Internationale Pressemitteilungen sind ein Weg, solche Erwähnungen planbar zu erzeugen. Ein zweiter ist die Knowledge-Graph-Optimierung, bei der das Unternehmen maschinenlesbar als eigenständige Sache hinterlegt wird.

Erst danach lohnt sich das Abonnement. Dann steht fest, dass ein Fehlen in der Antwort nicht an einer gesperrten Datei liegt, sondern an fehlender Substanz. Und dann liefert die Schwankung des Wertes eine Information statt eines Rätsels. Was bei einer solchen Bestandsaufnahme zusammenkommt und was ein Audit prüft, haben wir an einem Beispiel durchgespielt.

8. Fazit: Zwei Werkzeuge, zwei Fragen, eine Reihenfolge

Die Limitierung klassischer SEO Tools in der KI Suche ist kein Versäumnis der Anbieter. Diese Programme messen eine Trefferliste, und sie tun das gut. Für die Frage, ob ein KI-System ein Unternehmen nennt, sind sie nicht gebaut, und kein Update wird das ändern.

Spezialisierte Werkzeuge schließen diese Lücke nur teilweise. Sie liefern einen geschätzten Wert aus wiederholten Abfragen, und dieser Wert ist genau so viel wert wie die Zahl der Durchläufe dahinter. Gerade für die KI-Sichtbarkeit für den Mittelstand gilt deshalb eine einfache Reihenfolge: erst die prüfbaren Bedingungen, dann die geschätzte Kennzahl.

Das Ziel ist eine Aussage, die im nächsten Budgetgespräch standhält. Sie besteht aus zwei Teilen: einer Liste geprüfter Fakten und einem Mittelwert mit ausgewiesener Schwankung.

9. Anhang: Checkliste vor dem nächsten Tool-Abonnement

• Zugang geprüft: Die robots.txt sperrt weder die Abrufprogramme der KI-Anbieter noch die Crawler der eingesetzten SEO-Tools versehentlich aus.
• Auslieferung geprüft: Der Kerninhalt steht ohne Skripte im ausgelieferten Dokument.
• Auszeichnung geprüft: Leistung, Anschrift und Zuständigkeit stehen als strukturierte Daten im Quelltext.
• Serverlog ausgewertet: Abrufe der KI-Anbieter sind in der Auswertung getrennt sichtbar.
• Fragenliste festgelegt: 20 bis 30 Fragen, die Ihre Kunden wirklich stellen, davon die Hälfte länger als zehn Wörter.
• Durchläufe festgelegt: Mindestens zehn Wiederholungen je Frage, Mittelwert und Schwankung werden gemeinsam berichtet.
• Offene Auswertung verlangt: Das Werkzeug erfasst auch Marken, die nicht auf der eigenen Beobachtungsliste stehen.

Dieser Beitrag gibt den Stand zum Zeitpunkt der Veröffentlichung wieder. KI-Systeme und die genannten Werkzeuge entwickeln sich schnell; alle Zahlen sind den verlinkten Quellen entnommen und können sich ändern. Die Angaben ersetzen keine individuelle Beratung.