Halluzination
Definition
Output eines Sprachmodells, der plausibel formuliert, aber faktisch falsch oder nicht durch die bereitgestellten Quellen gedeckt ist. Halluzinationen sind keine Bugs im engen Sinn, sondern eine strukturelle Eigenschaft probabilistischer Sprachmodelle — sie sagen Wortfolgen vorher, nicht Wahrheit.
Noise — Signal
"Halluzination" suggeriert einen pathologischen Sonderfall, der sich beheben lässt. Tatsächlich ist die Halluzination der Default-Modus eines Sprachmodells; was als korrekte Antwort erscheint, ist eine Halluzination, die zufällig oder durch geeigneten Kontext mit der Realität übereinstimmt. Konsequenz: "Wir reduzieren Halluzinationen" ist die richtige Formulierung; "wir verhindern Halluzinationen" ist falsch. Verfahren wie RAG, Constrained Decoding oder Chain-of-Thought senken die Rate, eliminieren sie nicht.
Die richtige Frage
Nicht: "Wie verhindern wir Halluzinationen?" Sondern: "An welchen Stellen unseres Anwendungspfads ist eine falsche Aussage tolerierbar, an welchen nicht, und welche Verifikations-Schicht — Quellnachweis, menschliche Freigabe, externe Faktenprüfung — greift, bevor das Ergebnis den Endkunden erreicht?"