KI Halluzinationen Monitoring: Nur 9 von 26 Websites belegen ihre eigenen Eckdaten

1. Einführung: Was KI Halluzinationen Monitoring leistet

Ein Anrufer fragt nach einem Geschäftsführer, den es in Ihrem Betrieb nie gab. Er hat den Namen nicht erfunden. Ein KI-Assistent hatte ihn genannt, flüssig formuliert und ohne jeden Vorbehalt. Solche erfundenen Angaben heißen sogenannte KI-Halluzinationen, und sie betreffen nicht nur die Texte, die Sie selbst erzeugen lassen, sondern auch die Auskünfte, die Fremde über Sie einholen. Wer die Risiken erfundener KI-Antworten kennt, benötigt als Nächstes ein Verfahren, das sie sichtbar macht.

KI Halluzinationen Monitoring ist die wiederholte, protokollierte Messung dessen, was KI-Systeme auf eine feste Liste von Fragen über ein Unternehmen antworten. Erfasst werden erfundene oder falsche Informationen, ihre Häufigkeit über mehrere Durchläufe und die Quellenangaben, auf die sich die Antwort stützt. Ergebnis ist eine Fehlerquote, die sich über die Zeit vergleichen lässt.

Was das für Sie heißt: Ein Teil Ihrer Kundengespräche beginnt heute mit einer Auskunft, die Sie nie gegeben haben. Fällt darin ein falscher Name, eine falsche Zahl oder ein Angebot, das Sie gar nicht führen, merken Sie es ohne Messung erst, wenn jemand nachfragt. Eine feste Frageliste, regelmäßig gestellt und notiert, schließt diese Lücke.

Der Unterschied zur klassischen Fehlersuche liegt im Messobjekt. Geprüft wird nicht Ihre Website, sondern die Antwort, die ein fremdes System über Sie formuliert. Ein GEO-Audit (die Bestandsaufnahme der Sichtbarkeit in KI-Antworten) liefert dafür den ersten Messpunkt, das Monitoring die Reihe danach.

2. Ursachen von KI-Halluzinationen: Warum Systeme lieber raten als schweigen

KI-Halluzinationen bezeichnen Ausgaben, die faktisch falsch sind, sprachlich aber einwandfrei wirken. Large Language Models, kurz LLMs, sind Programme, die aus großen Textmengen Antworten formulieren. Sie prüfen keine Wahrheit, sondern setzen statistische Muster fort. Fehlt ein Beleg, generieren sie trotzdem eine Antwort.

Und sie merken nicht, dass sie raten.

Drei Ursachen von KI-Halluzinationen greifen dabei ineinander. Erstens die Trainingsdaten: Sind sie unvollständig, veraltet oder fehlerhaft, wandert die Lücke in die Antwort. Zweitens der Bias in den Daten, also eine Verzerrung, durch die häufige Muster seltene überschreiben. Drittens die Frage selbst. Prompts (Textanfragen in KI-Assistenten), die eine Auskunft erzwingen, lassen dem KI-Modell kein Feld für ein Achselzucken.

Typische Beispiele für KI-Halluzinationen über einen Betrieb sind schnell benannt: eine erfundene Geschäftsführung, ein falsches Gründungsdatum, ein Standort, den es nie gab, ein Preis aus der Branche statt aus Ihrer Liste. Die Folgen von KI-Halluzinationen reichen von der ungenauen Auskunft bis zum verlorenen Auftrag. Halluzinationen führen dabei selten sofort zu einer Beschwerde, weil niemand den Verdacht hat, dass künstliche Intelligenz hier falsche Informationen erzeugen könnte.

Die Erkennung von Halluzinationen stützt sich im Alltag auf wenige Merkmale: nicht auffindbare Quellenangaben, tote Verweise, auffällig präzise Zahlen ohne Beleg und Inkonsistenzen zwischen zwei Antworten auf dieselbe Frage. Eine KI-Halluzination tritt selten laut auf. Genau das macht das Problem von KI-Halluzinationen für Unternehmen so zäh: Es meldet sich nicht von selbst.

3. Warum eine einzelne Abfrage keine Messung ist

Die meisten Ratgeber empfehlen, die Ausgabe eines KI-Systems kritisch zu prüfen und Quellen zu überprüfen. Das ist richtig und reicht trotzdem nicht. Wer einmal auf die Straße schaut und keinen Bus sieht, weiß deshalb nicht, wie oft der Bus fährt. Genau so verhält es sich mit einer einzelnen Abfrage: Sie liefert eine Beobachtung, keine Quote.

Eine Beobachtung ist keine Quote.

Große Sprachmodelle antworten nicht deterministisch. Dieselbe Eingabe kann in zwei Sitzungen zwei unterschiedliche, teils widersprüchliche Aussagen erzeugen. Genau deshalb kann Genauigkeit und Zuverlässigkeit nur über viele Durchläufe beziffert werden: Die öffentliche Halluzinations-Rangliste von Vectara lässt jedes Modell über 7.700 Artikel zusammenfassen und bewertet die Ergebnisse mit einem eigenen Prüfmodell. Das genaueste Modell kam dort zuletzt auf 1,8 Prozent Halluzinationsquote. Sprachmodelle wie ChatGPT halluzinieren also messbar unterschiedlich oft, und mehrere verbreitete KI-Tools liegen deutlich darüber.

„Andere namhafte Modelle mit Denkschritten wie Claude Sonnet 4.5, GPT-5, GPT-OSS-120B, Grok-4 oder Deepseek-R1 liegen alle bei einer Halluzinationsquote über 10 Prozent.“
(„Other notable thinking models like Claude Sonnet 4.5, GPT-5, GPT-OSS-120B, Grok-4, or Deepseek-R1 all have a hallucination rate > 10%.“ – Vectara)

Für Ihren Betrieb heißt das zweierlei. Vermeidung auf null Prozent ist kein erreichbares Ziel, denn das Risiko von KI-Halluzinationen gehört zum Betrieb generativer KI. Und eine Stichprobe von einer Antwort sagt über die Zuverlässigkeit nichts aus. Messbar wird die Lage erst, wenn dieselbe Frage mehrfach gestellt und das Ergebnis notiert wird.

4. Voraussetzungen: Was vor der ersten Messung feststehen muss

Drei Dinge müssen vorher geklärt sein, sonst ist der erste Durchlauf verloren: die Frageliste, die Belegbasis auf der eigenen Website und das Protokoll. Die Belegbasis ist dabei der Teil, den die meisten unterschätzen. Sie entscheidet, ob das KI-System überhaupt etwas hat, woran es sich festhalten kann.

Wir haben im September 26 Websites deutscher Speditionen und Logistikdienstleister geprüft, ausgewählt über fünf Suchanfragen und ohne Handauswahl. Gemessen wurde nur das öffentlich ausgelieferte Rohdokument von Startseite und Impressum, also genau das, was ein Abrufprogramm ohne JavaScript zu sehen bekommt. Eine Firmierung mit Rechtsform fand sich bei allen 26. Eine namentlich genannte Geschäftsführung bei 24, ein Handelsregister-Eintrag bei 19, eine Angabe zum Bestehen des Betriebs bei 15. Alle drei Kernangaben gemeinsam belegten 9 von 26.

Neun von sechsundzwanzig.

Bei zwei Dritteln muss ein KI-System also mindestens eine der Angaben von woanders holen oder sich selbst zusammenreimen. Eine Website ohne diese Fakten ist wie ein Klingelschild ohne Namen: Der Bote fragt den Nachbarn, und der antwortet nach bestem Wissen.

Ebenso wichtig ist die Eindeutigkeit. Trägt ein zweiter Betrieb einen ähnlichen Namen, reicht Vollständigkeit nicht; dann geht es darum, eine Verwechslung mit ähnlichen Firmen auszuschließen. Ziel ist es, vorab festzulegen, welche Schreibweise gilt und wo sie verbindlich steht.

5. Schritt für Schritt: KI Halluzinationen Monitoring in fünf Schritten

Schritt 1: Die Frageliste festlegen

Zuerst werden zehn bis zwanzig Fragen gesammelt, die Interessenten wirklich stellen: nach der Firmierung, der Geschäftsführung, dem Leistungsumfang, den Standorten und den Preisen. Diese Liste bleibt über alle Durchläufe gleich, sonst messen Sie beim nächsten Mal etwas anderes und der Vergleich verliert seinen Wert.

Schritt 2: Jede Frage mehrfach stellen

Stellen Sie jede Frage in jedem KI-System mindestens dreimal, in getrennten Sitzungen. Sprachmodelle antworten nicht deterministisch; dieselbe Eingabe kann beim zweiten Mal eine andere Aussage liefern. Erst die Wiederholung zeigt, ob ein Fehler ein Ausrutscher war oder ein Muster.

Schritt 3: Die Antworten nach Fehlertyp einordnen

Jede Abweichung wird in eine von drei Klassen sortiert: frei erfunden, veraltet oder verwechselt. Die Einordnung entscheidet über die Gegenmaßnahme. Erfundene Angaben deuten auf eine Lücke, veraltete auf einen alten Stand im Netz, Verwechslungen auf einen unklaren Namen.

Schritt 4: Die Belege prüfen und Lücken schließen

Rufen Sie zu jeder falschen Aussage die eigene Website so ab, wie ein Abrufprogramm sie sieht: ohne JavaScript, nur das ausgelieferte Rohdokument. Fehlt dort die richtige Angabe, ergänzen Sie sie an einer festen Stelle und in gleicher Schreibweise auf allen Seiten, die das Thema berühren.

Schritt 5: Wiederholen und die Werte vergleichen

Am besten wird ein fester Termin gesetzt, typischerweise monatlich. Notieren Sie je Durchlauf das Datum, den Wortlaut der Frage, die Antwort und die genannten Quellen. Erst die zweite und dritte Messung zeigt, ob eine Korrektur angekommen ist oder ob die alte Aussage weiterläuft.

6. Häufige Fehler beim Monitoring und wie Sie sie vermeiden

Der häufigste Fehler ist die einmalige Erhebung. Sie wird sauber gemacht, abgelegt und nie wiederholt. Damit fehlt der Vergleichswert, und ohne Vergleichswert lässt sich weder ein Erfolg noch eine Verschlechterung zeigen.

Der zweite Fehler ist die zu enge Auswahl. Wer nur ChatGPT prüft, misst einen Ausschnitt: Jedes System ruft andere Datenquellen ab und gewichtet sie anders, weshalb Antworten über denselben Betrieb spürbar auseinandergehen können. Welche Belege am Ende in eine Antwort kommen, hängt von der Auswahllogik ab, und es lohnt sich zu verstehen, woher Antworten ihre Belege nehmen.

Der dritte Fehler ist die falsche Adressierung. Eine fälschlicherweise genannte Zahl wird dem Modell angelastet, obwohl die Ursache in der eigenen Belegbasis liegt.

Modelle lassen sich nicht reparieren, Belege schon.

Und schließlich: Ergebnisse ohne Datum sind wertlos. Modelle werden ausgetauscht, Quellen verschwinden, ein Wert von gestern beschreibt möglicherweise ein System, das es so nicht mehr gibt. Jede Zeile im Protokoll benötigt deshalb einen Stichtag.

7. Unsere Position: Die Lücke auf der eigenen Website erzeugt die Halluzination

Die Top-Ratgeber zu diesem Thema erklären Halluzinationen fast ausschließlich als Modellproblem: schlechte Trainingsdaten, Verzerrung in den Daten, unzureichende Modellierung. Unsere Position dazu ist enger. Für Aussagen über ein einzelnes Unternehmen ist die entscheidende Ursache nicht das Modell, sondern die fehlende Belegstelle. Das Modell verhält sich wie ein Prüfling, der lieber rät als ein Feld frei zu lassen; ob es raten muss, entscheidet die Faktenlage im Netz. Wie KI-Systeme ein Unternehmen als Entität erfassen und einordnen, zeigt der Überblick zu Entity SEO und Knowledge Graph.

Dass diese Lage real ist, zeigt die Stichprobe oben. Dass automatische Prüfer die Lücke nicht schließen, zeigt eine Untersuchung zu erfundenen Belegstellen: Ein Aufbau auf GPT-5-Basis fand 84,4 Prozent der fabrizierten Zitate, der kombinierte Güte-Wert lag bei 55,0 Prozent.

„GPT-5 erreicht in einem agentischen Aufbau 84,4 Prozent Trefferquote und einen F1-Wert von 55,0 Prozent.“
(„GPT-5 achieves 84.4% recall and a 55.0% F1 score in an agentic framework“ – Liu, Stammbach und Henderson)

Dazu kommt die rechtliche Seite, und die hat sich bewegt. Das Oberlandesgericht Hamm hat einem Betrieb die erfundenen Facharzttitel seines eigenen Chatbots zugerechnet (Az. 4 UKl 3/25), und das Landgericht München I hat einen Anbieter für falsche Aussagen in seiner generativen Suchantwort haften lassen (Az. 26 O 869/26).

„Wer sich zur Interaktion mit Kunden eines automatisierten Systems bedient, trägt die volle Verantwortung für dessen Output.“
(Wirtschaftswoche zur Entscheidung aus Hamm)

Praktisch folgt daraus eine Reihenfolge. Erst die eigenen Angaben vollständig und eindeutig ablegen, dann Belege außerhalb der eigenen Domain aufbauen, etwa über Erwähnungen in verlässlichen Medien, und parallel die digitale Reputation pflegen. Wie gut ein System Ihr Unternehmen einordnet, hängt danach vor allem an sauberer Knowledge-Graph-Optimierung.

8. Fazit

KI-Halluzinationen über ein Unternehmen sind kein Ausreißer, sondern die vorhersehbare Folge einer dünnen Beleglage. Verhindern lassen sie sich nicht vollständig; begrenzen und beobachten dagegen schon. Nötig sind eine feste Frageliste, mehrere Durchläufe je Frage, eine Einordnung nach Fehlertyp und ein Protokoll mit Datum.

Das Ziel ist eine Fehlerquote, die Sie über Monate vergleichen können, und eine Belegbasis, die dem KI-System die Vermutung erspart.

9. Anhang: Checkliste für den ersten Durchgang

• Zehn bis zwanzig Fragen notiert, die Interessenten wirklich stellen
• Jede Frage dreimal je KI-System gestellt, in getrennten Sitzungen
• ChatGPT, Claude, Copilot, Gemini, Perplexity und Grok abgedeckt
• Jede Abweichung als erfunden, veraltet oder verwechselt eingeordnet
• Firmierung, Geschäftsführung und Bestehensdauer im Rohdokument geprüft
• Schreibweise des Firmennamens auf allen Seiten vereinheitlicht
• Protokoll mit Datum, Wortlaut, Antwort und genannten Quellen angelegt
• Wiederholungstermin gesetzt, typischerweise monatlich

Für kleinere Häuser genügt dafür eine Tabelle und eine Stunde im Monat. Was das konkret für die KI-Sichtbarkeit im Mittelstand bedeutet, hängt vor allem daran, wie viele öffentliche Belege es über den Betrieb ohnehin schon gibt.

10. Häufige Fragen zum KI Halluzinationen Monitoring

Dieser Beitrag gibt den Stand zum Zeitpunkt der Veröffentlichung wieder. KI-Systeme entwickeln sich schnell; genannte Zahlen sind den verlinkten Quellen entnommen und können sich ändern. Die genannten Entscheidungen sind keine Rechtsberatung.