Embeddings, Suche und Retrieval-Augmented Generation
Retrieval Noise
Unpassende oder irreführende Informationen unter den abgerufenen Treffern.
Retrieval Noise sind Abschnitte, die zwar abgerufen wurden, aber nichts zur Frage beitragen oder sogar in die Irre führen. Eine Übersichtsarbeit führt genau das als Schwachstelle des Abrufs auf: unpassende Abschnitte werden ausgewählt, während wichtige fehlen. Gao et al.
Beifang ist nicht nur überflüssig
Falsche Treffer kosten nicht nur Platz. Sie verändern die Antwort, weil das Modell sie als bereitgestellten Kontext behandelt und nicht als Vorschlag. Besonders unangenehm sind Abschnitte, die zum Thema passen und trotzdem falsch sind: eine abgelaufene Richtlinie, die Fassung eines anderen Standorts, ein Entwurf, der nie in Kraft trat.
Dazu kommt die Menge. Viele Treffer verschieben die entscheidende Stelle womöglich in die Mitte einer langen Eingabe, und dort werden Informationen schlechter genutzt als am Anfang oder am Ende. Liu et al.
So kannst du dir das vorstellen
Jemand legt dir zehn Blätter hin, damit du eine Frage beantwortest. Sieben davon handeln vom Thema, aber nur drei von deiner Frage, und eines widerspricht den anderen. Du wirst antworten, und deine Antwort wird von der Mischung abhängen. Das Bild erklärt die Wirkung des Beifangs, es beschreibt keinen bestimmten Fehlerfall.
Was es in der Praxis bedeutet
Drei Maßnahmen wirken gegen Beifang, in dieser Reihenfolge: Bestand aufräumen, damit veraltete und doppelte Fassungen gar nicht erst im Index liegen; über Metadaten filtern, etwa nach Gültigkeit und Bereich; und die Treffer nachbewerten lassen, bevor sie in den Prompt gehen.
Für die Bewertung eines bestehenden Systems heißt das: Sieh dir die abgerufenen Abschnitte an, nicht nur die Antworten. Wenn unter fünf Treffern regelmäßig drei nichts mit der Frage zu tun haben, liegt das Problem nicht beim Modell.
Wo es verwechselt wird
Beifang ist nicht dasselbe wie eine Halluzination: Hier steht etwas Falsches wirklich im Kontext, statt frei erfunden zu werden. Und mehr Treffer verringern das Problem nicht, sie vergrößern es meist.
Verwandte Begriffe
Retrieval Top-k, Reranking, Metadata Filtering, Groundedness, Context Window, Retriever.