Warum KI halluziniert und was dagegen hilft

Das Wichtigste in Kürze

• Ein Sprachmodell schreibt die plausibelste Fortsetzung eines Textes. Ob sie stimmt, prüft es dabei nicht.
• Halluzinationen entstehen vor allem, wo dem Modell Wissen fehlt: bei seltenen Fakten, internen Details und allem nach seinem Wissensstand.
• Ganz abschalten lassen sie sich nicht. Mit Quellen, klaren Aufträgen und der Erlaubnis, «weiss ich nicht» zu sagen, werden sie aber deutlich seltener.
• Zahlen, Daten, Namen und Quellenangaben prüfen Sie immer am Original.
• Rechnen Sie mit Halluzinationen wie mit menschlichen Fehlern: mit einem Ablauf, in dem jemand prüft, bevor etwas rausgeht.

KI halluziniert, weil ein Sprachmodell die wahrscheinlichste Fortsetzung eines Textes erzeugt und keine geprüften Fakten nachschlägt. Fehlt ihm eine Information, füllt es die Lücke oft mit etwas, das richtig klingt: einer erfundenen Quelle, einem falschen Datum, einer Vertragsklausel, die es nicht gibt. Ganz verhindern lässt sich das nicht. Seltener und leichter erkennbar wird es, wenn Sie der KI Ihre Quellen geben, ihr erlauben, «weiss ich nicht» zu sagen, Belege verlangen und bei allem Wichtigen eine Person prüfen lassen.

Was ist eine KI-Halluzination?

Eine Halluzination ist eine Aussage, die überzeugend klingt und falsch ist. Das Modell bringt sie im selben sicheren Ton wie korrekte Aussagen, und genau das macht sie tückisch. Typische Beispiele aus dem Büroalltag: ein Gesetzesartikel mit falscher Nummer, ein Gerichtsentscheid, den es nie gab, ein Preis, der in keiner Liste steht, oder ein Sitzungsprotokoll mit einem Beschluss, den niemand gefasst hat. Der Begriff ist bildlich gemeint. Das Modell täuscht nicht absichtlich, es erzeugt Text, der statistisch passt. Und Halluzinationen betreffen nicht nur Fakten: Ein Modell kann auch ein mitgegebenes Dokument falsch lesen, eine Aussage der falschen Person zuschreiben oder eine Bedingung stillschweigend weglassen. Die Zusammenfassung klingt dann richtig und sagt doch etwas anderes als das Original.

Ein Sprachmodell klingt immer gleich sicher, ob es etwas weiss oder rät.

Warum erfindet KI Dinge?

Weil das Modell auf plausiblen Text trainiert ist und nicht auf geprüftes Wissen. Dahinter stehen mehrere Gründe, die oft zusammenwirken:

• Es sagt Text voraus. Ein Sprachmodell lernt aus riesigen Textmengen, welches Wort auf welches folgt. Was regelmässigen Mustern folgt, etwa Grammatik und Rechtschreibung, beherrscht es sehr gut. Seltene, willkürliche Fakten wie ein bestimmtes Geburtsdatum oder Ihre interne Kündigungsfrist lassen sich aus Mustern aber nicht ableiten.
• Raten wird belohnt. Eine 2025 von OpenAI veröffentlichte Forschungsarbeit argumentiert, dass Training und gängige Tests Modelle eher fürs Raten belohnen als fürs Eingestehen von Unsicherheit. Wie bei einer Multiple-Choice-Prüfung bringt eine geratene Antwort im Schnitt mehr Punkte als eine leere.
• Es fehlt Wissen. Das Modell kennt Ihr Unternehmen nicht und weiss nichts, was nach seinem Trainingsstand passiert ist. Geben Sie ihm die Information nicht mit, bleibt ihm nur das Raten.
• Der Auftrag drängt. Wer «Nenne mir fünf Quellen» schreibt, bekommt fünf, auch wenn es nur zwei gibt. Unklare oder suggestive Prompts erhöhen das Risiko.
• Lange Texte. Bei sehr langen Dokumenten kann das Modell Details übersehen oder Zahlen aus verschiedenen Stellen vermischen.

Wann sind Halluzinationen besonders riskant?

Wenn falsche Angaben unbemerkt weitergehen und dort Schaden anrichten. Das betrifft vor allem:

• Zahlen, Beträge, Fristen und Daten.
• Gesetzesartikel, Urteile, Normen und andere Quellenangaben.
• Namen, Adressen, Kontonummern und Vertragsdetails.
• Alles, was ohne Kontrolle an Kunden, Behörden oder Partner geht.
• Fragen, die über die mitgegebenen Unterlagen hinausgehen.

Besondere Vorsicht verdient Ihr internes Wissen. Ein allgemeiner KI-Assistent weiss nichts über Ihre Kunden, Preise oder Abmachungen, beantwortet Fragen dazu aber trotzdem bereitwillig. Solche Fragen gehören in ein Tool, das Ihre eigenen Dokumente durchsucht, oder zu einer Person, die es weiss.

Was hilft gegen Halluzinationen?

1. Quellen mitgeben.Lassen Sie die KI aus Ihren Dokumenten antworten statt aus dem Gedächtnis. Im Kleinen heisst das: das Dokument in den Chat laden. Im Grossen heisst es RAG, erklärt im Beitrag RAG: Wie KI mit eigenen Dokumenten arbeitet.
2. «Weiss ich nicht» erlauben.Schreiben Sie ausdrücklich in den Auftrag, dass die KI sagen soll, wenn die Unterlagen die Frage nicht beantworten. Schon das macht erfundene Antworten deutlich seltener.
3. Belege verlangen.Bitten Sie zu jeder wichtigen Aussage um ein wörtliches Zitat oder eine Seitenangabe. Was sich nicht belegen lässt, fliegt raus. So wird die Antwort überprüfbar.
4. Die Aufgabe eng fassen.Zusammenfassen, Angaben herausziehen oder einordnen gelingt verlässlicher als offene Wissensfragen. Je klarer Aufgabe und Format, desto weniger Raum bleibt zum Erfinden.
5. Rechnen und Nachschlagen den passenden Werkzeugen überlassen.Preise kommen aus Ihrer Preisliste, Summen aus der Tabelle, Fristen aus Ihrem System. Wo eine feste Regel genügt, ist sie verlässlicher als jede KI, mehr dazu unter KI oder klassische Automatisierung.
6. Eine Person prüfen lassen.Bei allem, was das Haus verlässt oder einen Entscheid stützt, liest jemand mit Fachwissen gegen. Das kostet Minuten und verhindert die teuren Fehler.

Manche Tools bieten eine Einstellung namens Temperatur. Ein tiefer Wert macht Antworten einheitlicher und vorhersehbarer. Fehlendes Wissen ersetzt er aber nicht: Ein Modell, das die Antwort nicht kennt, rät dann einfach beständiger.

Wie schreiben Sie einen Prompt, der weniger Raum zum Raten lässt?

Er nennt die Quelle, verlangt Belege und legt fest, was bei einer Lücke passiert. Ein Beispiel für eine Frage zu einem Vertrag: «Beantworte die Frage nur anhand des angehängten Vertrags. Nenne zu jeder Aussage die Ziffer, auf die du dich stützt, und zitiere den Satz wörtlich. Regelt der Vertrag die Frage nicht, schreib: im Vertrag nicht geregelt. Ergänze nichts aus allgemeinem Wissen.» Ein solcher Auftrag nimmt dem Modell den Druck, auf jeden Fall etwas zu liefern, und macht jede Aussage in Sekunden überprüfbar.

Auch Tools, die das Web oder Ihre Ablage durchsuchen und Quellen verlinken, nehmen Ihnen die Prüfung nicht ganz ab. Ein Link beweist nur, dass es die Quelle gibt. Ob dort steht, was die Antwort behauptet, sehen Sie erst, wenn Sie die Stelle öffnen. Mehr zu guten Aufträgen lesen Sie im Beitrag Prompts schreiben.

Wie prüft Ihr Team KI-Antworten im Alltag?

Mit einer einfachen Regel, die alle kennen: Was eine Zahl, ein Datum, einen Namen oder eine Quelle enthält, wird am Original geprüft. Ein Beispiel: In einem Bauunternehmen lässt sich die Projektleitung eine vierzigseitige Ausschreibung zusammenfassen. Das erspart die erste Lektüre. Fristen, Konventionalstrafen und Mengen werden trotzdem im Dokument nachgeschlagen, bevor jemand kalkuliert. Solche Regeln gehören in Ihre KI-Richtlinie und in die Schulung Ihres Teams. Eine Grundlage dafür bietet unsere Checkliste KI-Guardrails ohne Bürokratie, und wie wir Teams darin schulen, zeigt die Seite Team-Trainings.

Verschwinden Halluzinationen mit besseren Modellen?

Nicht von selbst, und darauf warten sollten Sie auch nicht. Die erwähnte Forschungsarbeit hält fest, dass Halluzinationen auch bei den neuesten Systemen bestehen bleiben, und auch die Anbieter selbst beschreiben Massnahmen wie die oben genannten als Mittel, um Halluzinationen zu verringern, nicht um sie auszuschliessen. Rechnen Sie also damit, wie Sie mit Fehlern von Menschen rechnen: mit einem Ablauf, in dem an den richtigen Stellen geprüft wird. Dann ist KI auch bei wichtigen Aufgaben eine Hilfe. Wo das in Ihrem Betrieb am meisten bringt, klären wir gern in einem Gespräch.