Fabricated Citations

Fabricated Citations sind erfundene Quellenangaben: Aufsätze, die es nicht gibt, Urteile mit erfundenem Aktenzeichen, Normen mit falscher Nummer. Sie sehen echt aus, weil sie dem Muster echter Angaben folgen, mit plausiblen Namen, Jahreszahlen und Fundstellen.

Belege sind besonders anfällig

Eine Quellenangabe ist ein Format mit festen Bestandteilen, und genau solche Muster erzeugen Sprachmodelle zuverlässig. Ob dahinter etwas Existierendes steht, ist eine andere Frage.

Auch Systeme mit Abruf schützen nicht vollständig. Eine Untersuchung juristischer Rechercheprodukte, deren Anbieter mit dem Wegfall von Halluzinationen warben, fand weiterhin falsche Angaben, darunter Verweise, die die behauptete Aussage nicht stützen. Magesh et al. Die automatische Prüfung solcher Belege ist deshalb ein eigenes Forschungsthema. Gao et al.

So kannst du dir das vorstellen

Jemand gibt in einer Diskussion eine Quelle an, die perfekt zum Argument passt: richtige Zeitschrift, plausibler Titel, passendes Jahr. Nur findet die Bibliothek sie nicht. Das Bild erklärt, warum die Form allein nichts beweist, es unterstellt keine Täuschungsabsicht.

Was es in der Praxis bedeutet

Jede Quellenangabe aus einem Sprachmodell gehört geprüft, bevor sie weitergegeben wird. Am schnellsten geht das über einen Verweis, der anklickbar auf die verwendete Stelle zeigt, statt über eine nachträglich formulierte Angabe.

In eigenen Anwendungen sollten Belege deshalb nicht vom Modell geschrieben, sondern vom System gesetzt werden: Das Modell bekommt nummerierte Abschnitte, verweist auf deren Nummern, und die Anwendung setzt daraus die Angabe zusammen. Frei formulierte Literaturangaben sind ein Risiko ohne Gegenwert.

Wo es verwechselt wird

Eine erfundene Quelle ist nicht dasselbe wie eine echte Quelle mit falschem Inhalt. Beides kommt vor, und die zweite Form ist schwerer zu entdecken, weil die Angabe selbst existiert.

Verwandte Begriffe

Hallucination, Citation Precision, Grounding, Groundedness, Factuality.