KI Halluzinationen im Unternehmen: Risiken und Schutz

1. Einführung: Was KI Halluzinationen für Unternehmen bedeuten

Ein Kunde fragt den Chatbot von Air Canada nach vergünstigten Trauertarifen. Die KI antwortet freundlich und genau: Er könne den Rabatt bis 90 Tage nach dem Flug beantragen. Diese Regel gab es nie. Der Chatbot hatte sie erfunden. Ein kanadisches Tribunal verurteilte die Airline später zu Schadenersatz für genau diese Auskunft.

Der Fall ist kein Ausrutscher, sondern ein Muster.

KI-Halluzinationen sind Ausgaben generativer KI-Modelle, die plausibel klingen, aber sachlich falsch oder frei erfunden sind. Sie entstehen, weil Sprachmodelle Wortfolgen aus statistischen Mustern vorhersagen, statt Fakten zu prüfen. Für Unternehmen bedeuten sie ein doppeltes Risiko. Dazu zählen Fehler in eigenen KI-Inhalten und falsche KI-Aussagen über die eigene Marke in öffentlichen Antworten. Warum Menschen solchen Antworten dennoch glauben, erklärt unser Beitrag zur Psychologie des KI-Vertrauens.

Dieser Ratgeber zeigt an belegten Beispielen, wie teuer eine einzige Halluzination werden kann. Sie lesen, warum KI-Modelle von sich aus raten. Sie lesen auch, welche Schritte beide Risiken begrenzen. Den zweiten, oft übersehenen Teil beantwortet ein GEO-Audit Ihrer KI-Sichtbarkeit (einer Prüfung, was KI-Chatbots aktuell über Ihr Unternehmen sagen). Es prüft, was ChatGPT, Perplexity und Gemini heute über Ihr Unternehmen erzählen.

Was das für Sie heißt: Ein Chatbot kann öffentlich falsche Angaben über Ihr Unternehmen verbreiten. Das betrifft etwa falsche Preise, Öffnungszeiten oder Leistungen, ohne dass Sie es merken. Kunden verlassen sich trotzdem auf diese Antwort. Erster Schritt. Stellen Sie ChatGPT und solchen Programmen selbst ein paar typische Kundenfragen zu Ihrem Unternehmen. Prüfen Sie, ob die Antworten stimmen.

2. Beispiele für KI-Halluzinationen: Wenn falsche Antworten teuer werden

Die Folgen von KI-Halluzinationen reichen von peinlichen Korrekturen bis zu Haftungsfällen. Deloitte, KPMG und EY mussten Studien mit erfundenen Quellen einräumen. Air Canada haftete für seinen Chatbot. Weltweit sind 1.694 Fälle vor Gericht erfasst, in denen KI Zitate erfand. Eine Halluzination ist damit ein geschäftliches Risiko, kein technisches Detail.

Berater liefern die bekannten Beispiele für KI-Halluzinationen. Deloitte in Australien musste eine Analyse für ein Ministerium korrigieren, weil sie erfundene Quellen und Zitate enthielt. Ein KPMG-Bericht über den Einsatz von KI in Unternehmen stützte sich laut Financial Times auf halluzinierte Fallstudien. Bei EY Kanada erwiesen sich KI-gesuchte Quellen einer Studie als fehlerhaft, wie die ARD-Finanzredaktion berichtet.

Ausgerechnet die Prüfer wurden nicht geprüft.

Vor Gericht ist das Phänomen längst messbar. Die Datenbank des Juristen Damien Charlotin dokumentiert weltweit 1.694 Gerichtsverfahren, in denen Beteiligte halluzinierte Zitate oder erfundene Urteile eingereicht haben. Sie wächst laufend.

Im Fall Air Canada entschied das Tribunal: Die Airline haftet für die falsche Auskunft ihres Chatbots. Das Argument, der Bot sei eine eigenständige Instanz, wies es zurück (Moffatt v. Air Canada, 2024 BCCRT 149).

„It should be obvious to Air Canada that it is responsible for all the information on its website. It makes no difference whether the information comes from a static page or a chatbot“, urteilte das Tribunal.
„Es sollte für Air Canada offensichtlich sein, dass das Unternehmen für alle Informationen auf seiner Website verantwortlich ist. Es macht keinen Unterschied, ob die Information von einer statischen Seite oder von einem Chatbot stammt.“

Wie häufig generative KI-Modelle sich irren, zeigt die bislang größte Studie öffentlich-rechtlicher Medien. 22 Organisationen aus 18 Ländern prüften über 3.000 Antworten von ChatGPT, Copilot, Gemini und Perplexity. Das Ergebnis der EBU/BBC-Studie: 45 Prozent der KI-Antworten hatten mindestens ein ernstes Problem. 31 Prozent zeigten grobe Mängel bei den Quellen, 20 Prozent größere Fehler bei den Fakten.

Fast jede zweite Antwort.

Deutsche Unternehmen spüren das schon im Alltag. In einer Befragung von Dataiku und The Harris Poll berichten 76 Prozent der deutschen Datenverantwortlichen von geschäftlichen Problemen oder Krisen. Grund waren KI-Halluzinationen und ungenaue KI-Antworten binnen eines Jahres. 78 Prozent sagen zugleich: Das eigene Management überschätzt die Genauigkeit der KI-Systeme (heise online).

Eine Halluzination wirkt dabei wie ein Navi, das forsch in den Feldweg leitet. Die Stimme klingt exakt gleich, ob die Route stimmt oder nicht. Der Ton bleibt sicher. Genau das macht falsche Antworten so riskant für das Vertrauen der Kunden.

3. Warum KI-Modelle halluzinieren: Raten schlägt Schweigen

KI-Modelle halluzinieren, weil Large Language Models (LLMs) mit Wahrscheinlichkeiten rechnen. Sie lernen Muster in den Daten großer Textmengen, um Vorhersagen zu treffen, welches Wort am wahrscheinlichsten folgt. Fakten prüft das Modell nicht; es bildet plausible Fortsetzungen. Fehlt Wissen in den Trainingsdaten, füllt die Mustererkennung die Lücke. Es entstehen falsche Informationen.

Warum verschwindet das Problem nicht einfach mit besseren Modellen? Forschende von OpenAI und der Georgia Tech liefern dafür eine sehr klare Erklärung. Das Trainingssystem selbst belohnt das Raten.

„We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty“, schreiben Adam Tauman Kalai und Kollegen in ihrem Paper „Why Language Models Hallucinate“.
„Wir argumentieren, dass Sprachmodelle halluzinieren, weil die Trainings- und Bewertungsverfahren das Raten stärker belohnen als das Eingestehen von Unsicherheit.“

Ein LLM verhält sich damit wie ein Schüler im Multiple-Choice-Test. Wer bei Unsicherheit rät, kann Punkte holen. Wer das Feld leer lässt, bekommt garantiert null. Deshalb wird bei Unsicherheit meist geraten. In makelloser Grammatik.

Dazu kommen bekannte Verstärker bei generativen KI-Modellen. Dazu zählen schwache oder alte Datenquellen, Verzerrung in den Datensätzen und Prompts, die zu Aussagen ohne Referenz drängen. Dann werden von manchen KI-Systemen Muster oder Objekte wahrgenommen, die es schlicht nicht gibt.

Und das Problem füttert sich selbst. Forscher des Imperial College London, der Stanford University und des Internet Archive haben es untersucht. Bis Mitte des letzten Jahres stuften sie rund 35 Prozent der neu veröffentlichten Websites als KI-generiert oder KI-unterstützt ein (via ARD-Finanzredaktion). Wenn solche Texte wieder als Trainingsfutter dienen, entsteht Stille Post im großen Stil. Jede Runde der Generierung klingt plausibler und stimmt weniger.

4. Das unterschätzte Risiko: Wenn die KI über Ihr Unternehmen halluziniert

Das Risiko von KI-Halluzinationen hat zwei Richtungen. Nach innen erzeugt die eigene KI-Nutzung fehlerhafte Texte, Analysen und Entscheidungen. Nach außen werden Aussagen über Ihre Marke von öffentlichen KI-Systemen erfunden: falsche Preise, eingestellte Produkte, erfundene Standorte. Diese zweite Richtung trifft Unternehmen ohne Vorwarnung. Die falsche Antwort erscheint beim Kunden, nicht bei Ihnen. Niemand meldet sie Ihnen.

Lesen Sie eigentlich mit, was ein Chatbot über Ihre Firma erzählt?

Die Frage ist unbequem, weil niemand Ihnen die Antwort sagt. So entsteht ein stiller Schaden am Ruf. Ihre Website-Statistik zeigt den Kunden nicht, der nach einer erfundenen Auskunft zum Wettbewerber wechselt. In unseren GEO-Audits stoßen wir regelmäßig auf KI-Antworten mit alten Leistungen oder verwechselten Firmennamen, lange bevor das betroffene Unternehmen selbst davon erfährt.

Verwechslungen entstehen gerade dann, wenn die KI eine Marke nicht klar zuordnen kann. Konsistente Firmendaten, strukturierte Profile und klare Signale helfen dem Modell, Ihre Marke als Entität zu erkennen. So vermischt es keine Fragmente ähnlicher Firmen. Liefert man der KI verlässliche, zitierfähige Fakten, sinkt die Wahrscheinlichkeit, dass sie welche erfindet.

5. Schritt für Schritt: KI-Halluzinationen vermeiden und begrenzen

Das Vermeiden von Halluzinationen gelingt nicht durch ein einzelnes KI-Tool. Es benötigt vier kombinierte Schritte. Dazu zählen geprüfte Datenquellen mit Retrieval-Augmented Generation (dem automatischen Nachschlagen in geprüften eigenen Unterlagen vor jeder Antwort) und menschliche Faktenprüfung, bevor Inhalte live gehen. Hinzu kommen klare Regeln für die KI-Nutzung im Team und laufendes Monitoring der KI-Antworten über die eigene Marke. Durch jeden Schritt wird das Risiko gesenkt.

5.1 Technik: Datenbasis fixieren und Antworten begrenzen

Die Vermeidung beginnt bei der Datenbasis. Am besten verankert man generative KI-Modelle in geprüften Datensätzen. Retrieval-Augmented Generation, kurz RAG, verbindet das Sprachmodell mit Ihren eigenen Wissensquellen. So kann es belegte Antworten liefern, statt frei zu formulieren. Ob in der Cloud oder auf eigenen Servern: Definieren Sie exakt, auf welche Datenquellen Ihre KI-Anwendungen zugreifen dürfen. Begrenzen Sie die möglichen Ausgaben. Genauigkeit und Zuverlässigkeit werden dadurch stark gesteigert. Eine Garantie ist es nicht. Wie Sie umgekehrt dafür sorgen, dass KI-Systeme Ihrer Marke vertrauen, lesen Sie in unserem Leitfaden zu Trust-Signalen.

5.2 Prozesse: Menschen prüfen, Regeln kennzeichnen

Würden Sie einen Bericht unterschreiben, den niemand gegengelesen hat? Genau das tun Teams, die KI-Texte ungeprüft veröffentlichen. Legen Sie fest, wer als Prüfer die Fakten prüft. Markieren Sie KI-generierte Inhalte intern. Diese Transparenz klingt banal, fehlt aber genau dort, wo es kracht. Viele Unternehmen wissen nicht einmal, welche KI-Tools ihre Teams nutzen.

„Wir haben einen sehr hohen Grad an sogenannter Schatten-KI, bei der das Unternehmen seine Mitarbeitenden möglicherweise nicht angemessen im Umgang mit Fehlern durch KI trainiert hat“, warnt ifo-Ökonom Oliver Schlenker in der ARD-Finanzredaktion. Mehr als 54 Prozent der Firmen in Deutschland nutzen KI laut ifo-Umfrage schon in ihren Prozessen. Schulung und Leitlinien hinken der Nutzung von KI hinterher.

5.3 Monitoring: Die Außenwirkung laufend testen

KI-Antworten über Ihre Marke sind wie Presseberichte zu behandeln: oft zu lesen, zu notieren, zu korrigieren. Ein festes Set echter Kundenfragen, monatlich an die großen KI-Systeme gestellt, zeigt Ihnen falsche oder irreführende Darstellungen, bevor sie sich festsetzen. Um Halluzinationen über Ihre Marke zu verringern, publizieren Sie anschließend genau die Fakten, die den Modellen fehlen: klar, belegt und maschinenlesbar.

1. Bestandsaufnahme: Alle Anwendungsfälle und KI-Tools im Unternehmen erfassen, auch die inoffiziellen.
2. Datenbasis: Kritische KI-Anwendungen per RAG an geprüfte Wissensquellen binden.
3. Vier-Augen-Regel: Fakten prüfen, bevor Inhalte live gehen; Verantwortliche benennen.
4. Schulung: Teams für typische Halluzinations-Muster schulen, Schatten-KI in Leitlinien überführen.
5. Außen-Monitoring: Monatlich prüfen, was KI-Systeme über Ihre Marke antworten. Abweichungen notieren.

6. Häufige Fehler: Was den Schaden vergrößert

Die teuersten Fehler im Umgang mit Halluzinationen sind organisatorisch, nicht technisch. Dazu zählen blindes Vertrauen in KI-Agenten, keine Kennzeichnung, einmalige statt laufender Kontrolle und der Blick nur nach innen. Der Schaden kann minimiert werden, wenn diese vier Muster vermieden werden, selbst wenn ein Modell danebengreift.

• Automatisierung ohne Aufsicht: KI-Agenten treffen Entscheidungen, deren Vorhersagen niemand kontrolliert. Genau hier entstand der Air-Canada-Fall.
• Autoritätsglaube: KI-generierte Empfehlungen werden ernster genommen als menschliche Expertise. In der Dataiku-Befragung bestätigen das 76 Prozent der Befragten in Deutschland.
• Einmal prüfen statt laufend: Modelle, Datenlage und KI-Antworten ändern sich. Eine halluzinierende Ausgabe von heute existierte gestern noch nicht.
• Nur nach innen schauen: Wer nur die eigene KI absichert, übersieht, was öffentliche Systeme über die Marke erzählen.

7. Fazit: Kontrolle ist der Preis der Geschwindigkeit

KI-Halluzinationen verschwinden nicht, denn sie stecken im Kern der Technologie. Sprachmodelle raten, wenn sie nichts wissen. Wer generative KI produktiv einsetzen will, benötigt deshalb beides. Dazu zählen Prozesse, die eigene Fehler abfangen, und ein Monitoring, das falsche Aussagen über die Marke sichtbar macht.

Der Aufwand ist klein, verglichen mit einem einzigen öffentlichen Halluzinations-Fall.

Gut umgesetzt fühlt sich der Schutz an wie der frisch geprüfte Feuerlöscher im Flur. Er fällt niemandem auf und kostet kaum Zeit. Doch in dem Moment, in dem eine KI Ihrem wichtigsten Kunden eine erfundene Auskunft gibt, hängt alles an ihm.

8. Anhang: Checkliste gegen KI-Halluzinationen

• Inventur: Wo ist der Einsatz von KI im Unternehmen heute Realität, offiziell und inoffiziell?
• Kritikalität: Welche KI-Ausgaben erreichen Kunden, Behörden oder die Öffentlichkeit direkt?
• Datenbindung: Sind kundennahe Chatbots und Assistenten per RAG an geprüfte Quellen gebunden?
• Prüfprozess: Gibt es eine verbindliche Faktenprüfung mit benannten Verantwortlichen?
• Leitlinie: Gibt es eine KI-Richtlinie mit Pflicht zur Kennzeichnung und einem Schulungsplan?
• Außen-Check: Wird monatlich getestet, was ChatGPT, Perplexity und Gemini über die Marke antworten?
• Korrekturweg: Ist definiert, wer falsche KI-Darstellungen meldet und mit belegten Fakten gegensteuert?

Der Start ist eine ehrliche Inventur. Unsere GEO Services für KI-Sichtbarkeit verbinden diesen Faktencheck mit dem Aufbau der Signale, die KI-Systeme für korrekte Antworten benötigen.

Häufige Fragen zu KI-Halluzinationen

Dieser Beitrag gibt den Stand zum Zeitpunkt der Veröffentlichung wieder. KI-Systeme, Studienwerte und Rechtsprechung entwickeln sich schnell. Genannte Zahlen sind den verlinkten Quellen entnommen. Hinweise zu Haftungsfragen ersetzen keine fachjuristische Beratung.