Hallucination

Als Hallucination, auf Deutsch Halluzination, bezeichnet man eine Ausgabe, die überzeugend formuliert und trotzdem falsch oder unbelegt ist. Eine Übersichtsarbeit beschreibt genau das als Kernproblem: Sprachmodelle erzeugen plausibel klingende, aber nicht den Tatsachen entsprechende Inhalte. Huang et al.

Kein Fehler im technischen Sinn

Das Verhalten ist kein Absturz und kein Bug, der sich beheben ließe. Ein Sprachmodell erzeugt wahrscheinliche Fortsetzungen, und eine falsche Angabe kann wahrscheinlicher wirken als eine richtige, besonders wenn sie in das Muster des Textes passt. Deshalb sehen erfundene Angaben oft überzeugender aus als vorsichtige, korrekte Antworten.

Abruf aus eigenen Quellen verringert das Problem, beseitigt es aber nicht. Eine Untersuchung juristischer Rechercheprodukte, die mit Abruf arbeiten und Werbeaussagen zur Halluzinationsfreiheit führten, fand weiterhin falsche Angaben. Magesh et al.

So kannst du dir das vorstellen

Ein sehr belesener Gesprächspartner, der nie „weiß ich nicht" sagt. Er ergänzt fehlende Angaben so, dass sie zum Rest passen, in demselben sicheren Ton wie den Rest. Genau die Gleichförmigkeit des Tons macht das Problem aus. Das Bild erklärt, warum Fehler schwer auffallen, es unterstellt keine Absicht.

Was es in der Praxis bedeutet

Prüfe alles, was zählt: Zahlen, Namen, Daten, Paragrafen, Quellen. Das gilt besonders dort, wo eine Antwort detailliert und selbstsicher klingt, denn die Sicherheit im Ausdruck sagt nichts über die Richtigkeit.

Im Aufbau eigener Anwendungen hilft dreierlei: Material aus geprüften Quellen mitgeben, Quellenangaben je Aussage verlangen und die Anweisung, Lücken zu benennen statt zu füllen. Das senkt die Rate und ersetzt die fachliche Abnahme nicht.

Wo es verwechselt wird

Halluzination ist nicht dasselbe wie ein veralteter Wissensstand: Das eine ist erfunden, das andere überholt. Und der Begriff ist umstritten, weil er ein Sinnestäuschungsbild bemüht; manche bevorzugen Konfabulation.

Verwandte Begriffe

Confabulation, Fabricated Citations, Groundedness, Factuality, Grounding, Retrieval-Augmented Generation.