Warum schwanken KI Antworten, und wie messen Sie Ihre Sichtbarkeit trotzdem verlässlich? Nur 21 Prozent gleiche Namen von Tag zu Tag
KI Antworten schwanken: Warum ein einzelner Test in ChatGPT nichts beweist
KI-Assistenten wie ChatGPT, Gemini oder Perplexity nennen auf dieselbe Frage an verschiedenen Tagen verschiedene Anbieter. In einer eigenen Messung stimmten die genannten Firmen von Tag zu Tag nur zu 21 Prozent überein. Verlässlich wird die Messung erst, wenn feste Fragen mehrfach gestellt und als Anteil mit Spanne ausgewertet werden.
1. Einführung: Warum KI Antworten schwanken
KI Antworten schwanken, und zwar stärker, als die meisten Unternehmen erwarten. Wer ChatGPT, Claude, Copilot, Gemini, Perplexity oder Grok heute nach einem Anbieter fragt, liest morgen oft andere Namen. Eine einzelne Abfrage ist deshalb wie ein Foto von einer Autobahn. Sie zeigt, wer gerade vorbeifährt, aber nicht, wer dort täglich unterwegs ist.
Wie groß der Effekt ist, zeigt eine eigene Messung von Hubert Strategies vom Oktober 2026. Dieselbe Einkäuferfrage an dasselbe KI-System an zwei Tagen ergab im Schnitt nur 21 Prozent übereinstimmende Firmennamen. Gut vier von fünf Namen tauchten also nur an einem der beiden Tage auf. Für den Mittelstand heißt das: Ein Screenshot aus dem Chat taugt nicht als Beleg.
Dieser Beitrag erklärt, woher die Schwankung kommt, wie groß sie ist und wie Sie Ihre Sichtbarkeit trotzdem verlässlich messen. Was die Kennzahl bedeutet, erklärt der Beitrag zum Share of Voice in KI-Antworten; welche Anforderungen ein Messwert erfüllen muss, zeigt der Sichtbarkeitsindex für KI. Hier geht es um die Streuung dahinter. Eine dokumentierte Ausgangsmessung im Audit setzt genau dort an.
Auf einen Blick
Schwankende KI-Antworten sind Antworten von KI-Assistenten wie ChatGPT, Gemini oder Perplexity, die auf dieselbe Frage zu verschiedenen Zeitpunkten andere Anbieter, Formulierungen und Quellen nennen. Ursachen sind der Zufall beim Formulieren, die wechselnde Live-Suche, stille Modellwechsel und die Personalisierung. Sichtbarkeit ist deshalb nur als Anteil über viele wiederholte Abfragen verlässlich messbar.
Was das für Sie heißt
Betrifft Sie das? Ja, sobald Kunden einen KI-Assistenten nach Anbietern Ihrer Branche fragen. Was kostet Nichtstun? Wer nach einem einzigen Test entscheidet, bekämpft vielleicht ein Problem, das es nicht gibt, oder übersieht eines, das besteht. Nach unserer Schätzung lenkt so eine Fehlentscheidung schnell ein Quartal Marketingarbeit in die falsche Richtung. Ihr erster Schritt: Notieren Sie zehn Kundenfragen und stellen Sie jede an mehreren Tagen.
2. Warum antwortet ChatGPT auf dieselbe Frage anders?
ChatGPT generiert jede Antwort neu, Wort für Wort. Ein Sprachmodell, also die künstliche Intelligenz hinter dem Chat, berechnet für jedes nächste Wort Wahrscheinlichkeiten und wählt mit etwas Zufall aus. Dieser Zufall wird bewusst eingebaut, er macht die Texte abwechslungsreich. Vier Ursachen sorgen dafür, dass am Ende andere Anbieter in der Antwort stehen.
Zufall beim Formulieren. Gleiche Frage, anderer Wortlaut, mitunter andere Namen. Ähnlich wie zwei Verkäufer, die denselben Kunden beraten, nimmt das Modell jedes Mal einen etwas anderen Weg durch dieselben Fakten.
Wechselnde Live-Suche. Viele Assistenten suchen vor der Antwort im Web und fassen die Treffer zusammen; Google zerlegt die Frage dabei oft in viele Teilsuchen, den sogenannten Query Fan-out. Die Treffer ändern sich laufend. Laut einer Auswertung von SISTRIX über 82.619 Prompts (eingegebene Fragen) und 17 Wochen tauscht ChatGPT Search pro Woche 74 Prozent der zitierten Domains aus.
Stille Modellwechsel. Modelle werden laufend aktualisiert, oft ohne Ankündigung. Die Forschergruppe um Guillaume Coqueret nennt in einer Arbeit vom Juli 2026 solche Updates, Rundungen in der Rechnung und die interne Aufgabenverteilung als weitere Quellen der Streuung.
Personalisierung. Laut der Hilfeseite von OpenAI kann ChatGPT bei aktivierter Erinnerung frühere Chats, gespeicherte Erinnerungen und eigene Anweisungen heranziehen. Ihr eigener Chat zeigt dann womöglich, was Sie selbst oft fragen, nicht, was ein Fremder sieht.
Häufig heißt es, ein frischer Chat ohne Zufall mache die Antwort reproduzierbar. Das trifft nicht zu, weil der gewollte Zufall nur eine von mehreren Ursachen ist. Das Thinking Machines Lab ließ ein Sprachmodell im September 2025 dieselbe Frage 1.000-mal beantworten, mit Temperatur null, also mit abgeschaltetem Zufallsregler. Am Ende standen 80 verschiedene Texte, erzeugt aus derselben Eingabe. Ursache war die wechselnde Auslastung der Server.
Coqueret und seine Mitautoren ziehen daraus einen klaren Schluss:
„Ausgaben von Sprachmodellen sollten als Ziehungen aus einer Verteilung behandelt werden, nicht als feste Messwerte.“
(„LLM outputs should be treated as draws from a distribution rather than as fixed measurements“)
Für Ihre Messung heißt das: Jede Antwort ist eine Stichprobe.
3. Wie stark schwanken KI-Antworten in der Praxis?
Die Schwankung der Antworten lässt sich beziffern. Im Oktober 2026 haben wir an acht Messtagen fünf Einkäuferfragen nach Lohnfertigern in Süddeutschland an sechs KI-Systeme gestellt. In 199 Antworten fielen 210 verschiedene Firmennamen. Gezählt wurde jede Nennung, nicht die Reihenfolge.
Davon tauchten 97 Firmen nur ein einziges Mal auf, die übrigen 113 mehrfach. Wenige Namen kamen dagegen immer wieder: Die am häufigsten genannte Firma stand in 38 Prozent der Antworten, die nächsten drei Firmen erreichten jeweils 14 bis 16 Prozent.
Das Muster ist wie bei einem Wochenmarkt. Ein paar Stände stehen jeden Samstag am selben Platz, der Rest wechselt. SISTRIX-Gründer Johannes Beus beschreibt dasselbe Bild für Googles KI-Modus:
„Jede Antwort im AI Mode hat einen festen Kern und ein Karussell.“
(„Every AI Mode response has a fixed core and a carousel.“)
Ob Ihr Unternehmen zum stabilen Kern gehört oder nur gelegentlich im Karussell auftaucht, zeigt nur die Wiederholung. Ein einzelner Lauf kann beides verwechseln.
Nicht jede Oberfläche schwankt gleich stark. Die Google AI Overviews blieben in derselben Untersuchung bei 53 Prozent der Fragen über alle 17 Wochen unverändert. Der Marketing-Software-Anbieter Yotpo berichtet nach eigener Angabe, ohne offengelegte Stichprobe, dass eine heute von ChatGPT zitierte Adresse nach drei Wochen nur noch mit etwa 15 Prozent Wahrscheinlichkeit auftaucht.
Ein einzelner Blick in den Chat zeigt eine Ziehung, keine Sichtbarkeit. Gemessen ist erst, was sich über viele Wiederholungen derselben Fragen bestätigt.
Ihr Ausgangswert, bevor Sie investieren
Der Kurzcheck kostet 990 Euro und läuft in fünf Werktagen. Er liefert eine dokumentierte Ausgangsmessung plus drei Sofortmaßnahmen.
4. Schritt für Schritt: So messen Sie trotz Schwankung verlässlich
Verlässlich heißt bei schwankenden Antworten nicht: ein exakter Wert. Gemeint ist ein Bereich, der sich bei Wiederholung bestätigt, denn vollständig ausschalten lässt sich die Streuung nicht. Fünf Schritte führen dorthin.
Schritt 1: Feste Fragen aufschreiben
Notieren Sie zehn bis zwanzig Fragen, so wie Kunden sie stellen, ohne Ihren Firmennamen. Jedes geänderte Wort ergibt eine neue Frage. Der Wortlaut wird deshalb eingefroren und mit Datum abgelegt. Wie Sie solche Fragen finden, zeigt die Anleitung für den Eigentest.
Schritt 2: Ohne Verlauf und Anmeldung fragen
Stellen Sie die Fragen in einem temporären Chat oder ohne Anmeldung, damit Ihr eigener Verlauf nicht mitwirkt. Halten Sie zusätzlich fest, ob die Websuche aktiv war, in welcher Sprache und von welchem Land aus gefragt wurde.
Schritt 3: Jede Frage mehrfach stellen
Planen Sie mindestens fünf Läufe je Frage ein, verteilt über mehrere Tage. Für einen Gesamtwert über viele Fragen kann das reichen, für die einzelne Frage eher nicht.
Schritt 4: Anteil mit Spanne auswerten
Zählen Sie, in wie vielen Antworten Ihr Unternehmen vorkommt, und notieren Sie den niedrigsten und den höchsten Wert der Läufe. Ein Rechenbeispiel: Eine Nennungsrate von 30 Prozent mit einer Spanne von 20 bis 40 Prozent sagt mehr als ein „Platz 2“ aus einem einzelnen Lauf. Die Spanne macht die Unsicherheit sichtbar, Platzierungen innerhalb einer Antwort sind dagegen zu wackelig, um sie zu berichten.
Schritt 5: Unter gleichen Bedingungen wiederholen
Wiederholen Sie die Messung mit denselben Fragen, Systemen und Einstellungen, etwa vierteljährlich. Steigt der Wert im Rechenbeispiel auf 35 Prozent mit einer Spanne von 25 bis 45 Prozent, überlappen sich beide Bereiche. Belegt ist dann noch nichts, so wie zwei Messungen auf einer ungenauen Badezimmerwaage keine Diät beweisen.
5. Legen KI-Monitoring-Tools ihre Wiederholungen offen?
KI-Monitoring-Tools versprechen, genau diese Schwankung zu bändigen. Im Oktober 2026 haben wir geprüft, was 22 kostenpflichtige Werkzeuge auf ihren eigenen Seiten über ihre Methode schreiben. Ausgewählt wurden sie über eine öffentliche Vergleichsliste vom selben Monat, gewertet wurde nur die Selbstauskunft der Anbieter.
Die Messhäufigkeit nennen fast alle: 20 von 22 Anbietern schreiben, ob täglich, wöchentlich oder monatlich gefragt wird. Dass dieselbe Frage innerhalb eines Messzyklus mehrfach gestellt wird, erwähnen nur zwei, und keiner nennt die Zahl der Läufe. Eine Schwankungsbreite der Nennungsrate weist keines der Werkzeuge aus; ein einziges kennzeichnet grob, ob ein Unterschied Zufall sein könnte.
Täglich messen heißt also nicht mehrfach messen. Wer jeden Tag einmal würfelt, kennt nach einer Woche sieben Würfe, aber noch nicht die Verteilung, ähnlich wie bei einer täglichen Einzelabfrage. Bevor ein Werkzeug gekauft wird, sollte man deshalb nachfragen, wie viele Läufe je Frage es auswertet und ob es Spannen ausweist.
6. Welche Fehler machen eine Messung wertlos?
Der erste Fehler ist der Screenshot als Beleg. Mit ihm wird eine einzige Ziehung festgehalten, und er sagt nichts darüber, ob der Name morgen wieder fällt. Er wirkt plausibel, doch für eine Bewertung Ihrer Sichtbarkeit reicht er nicht.
Der zweite Fehler ist, die Fragen zwischen zwei Messungen umzuformulieren. Dann vergleichen Sie zwei verschiedene Fragen und halten den Unterschied für eine Wirkung. Ebenso irreführend ist ein Vergleich, bei dem einmal mit und einmal ohne Websuche gefragt wurde.
Der dritte Fehler ist das Vertrauen auf den Zufallsregler. Wie die Versuche mit Temperatur null zeigen, bleibt die Streuung auch ohne ihn bestehen; über die Bedienoberfläche lässt er sich ohnehin nicht einstellen.
Der vierte Fehler ist, nur ein System zu prüfen. ChatGPT, Gemini und Perplexity ziehen unterschiedliche Quellen heran, und ihre Treffer wechseln unterschiedlich schnell. Wer nur einen der KI-Chatbots beobachtet, sieht einen Ausschnitt. Weitere Fragen zur Messung bündelt die Themenseite KI-Sichtbarkeit messen.
7. Fazit
Schwankende KI-Antworten sind kein Messfehler, sondern die Arbeitsweise der Systeme. Zufall beim Formulieren, eine wechselnde Live-Suche, stille Modellwechsel und die Personalisierung sorgen dafür, dass derselbe Name an einem Tag fällt und am nächsten fehlt.
Verlässlich wird die Messung trotzdem: mit festen Fragen, mehreren Läufen je Frage, einer Nennungsrate mit Spanne und einer Wiederholung unter gleichen Bedingungen.
Das Ziel ist ein Bereich, den Sie in drei Monaten mit denselben Fragen erneut messen können.
8. Anhang: Checkliste für eine verlässliche Messung
Wen empfiehlt ChatGPT, wenn Ihre Kunden fragen?
Vielleicht Sie, vielleicht Ihren Wettbewerber. Im kostenlosen Erstgespräch sehen wir gemeinsam nach, was ChatGPT, Gemini und Perplexity heute über Ihr Unternehmen sagen, woher diese Antworten stammen und wo sich Arbeit für Sie wirklich lohnt. Und wenn eine einmalige Prüfung genügt, sagen wir Ihnen das offen.
9. Häufig gestellte Fragen zu schwankenden KI-Antworten

Über den Autor
Simon Hubert
Gründer und Geschäftsführer der GEO Agentur Hubert Strategies
Simon Hubert ist Gründer der GEO Agentur Hubert Strategies in Göttingen und arbeitet an generativer Suchmaschinenoptimierung, Entity SEO, Knowledge-Graph-Strukturen und KI-Sichtbarkeit in ChatGPT und Co. Seine erste Digitalagentur gründete er 2011. Er hält einen Master in Business Informatics der Universität Mannheim und ist seit über 20 Jahren in Digitalisierung und IT unterwegs, mehrere Jahre davon in Großkonzernen.
Dieser Beitrag gibt den Stand zum Zeitpunkt der Veröffentlichung wieder. Die eigene Messung ist eine Stichprobe mit fünf Fragen aus einer Branche und nicht repräsentativ; Firmennamen werden nicht genannt. Die Angaben zu den Monitoring-Tools beruhen auf dem, was die Anbieter auf ihren Seiten über ihre Methode schreiben. Studien von Softwareanbietern sind als deren Angabe gekennzeichnet. KI-Antworten ändern sich laufend, genannte Zahlen können sich ändern.
