Retrieval Top-k

Retrieval Top-k bezeichnet die Zahl der Treffer, die aus einer Suche übernommen werden. Das System bewertet alle Kandidaten und gibt die k ähnlichsten Abschnitte als Kontext weiter. Gao et al. Dieses k ist eine der wenigen Stellschrauben, die sich ohne Umbau ändern lassen, und entsprechend oft wird daran gedreht.

Mehr Treffer sind nicht mehr Wissen

Ein zu kleines k lässt die Antwort auf halbem Wissen stehen, weil die entscheidende Stelle knapp unter der Grenze liegt. Ein zu großes k füllt den Prompt mit Beifang: Abschnitte, die zum Thema passen, aber die Frage nicht beantworten.

Dazu kommt ein weniger bekannter Effekt. Modelle nutzen lange Eingaben ungleichmäßig; in einer Untersuchung war die Leistung am höchsten, wenn die entscheidende Information am Anfang oder am Ende stand, und deutlich schlechter, wenn sie in der Mitte lag. Liu et al. Viele Treffer können die richtige Stelle also ausgerechnet in die Zone schieben, die schlecht gelesen wird.

So kannst du dir das vorstellen

Du bittest jemanden, eine Frage anhand von Unterlagen zu beantworten. Drei passende Blätter helfen. Dreißig Blätter, von denen drei passen, helfen weniger, obwohl alles dabei ist. Das Bild erklärt, warum Menge nicht Qualität ist, es nennt keine richtige Zahl.

Was es in der Praxis bedeutet

Bewährt hat sich ein zweistufiges Vorgehen: großzügig suchen, etwa zwanzig Kandidaten, diese dann von einem Nachbewerter sortieren lassen und nur die besten drei bis fünf in den Prompt geben. So bleibt die Trefferquote hoch und der Kontext trotzdem sauber.

Wichtig ist außerdem, k nicht nach Gefühl zu setzen. Mit einer Liste echter Fragen lässt sich messen, ab welchem k die richtige Stelle fast immer dabei ist. Alles darüber kostet nur Tokens.

Wo es verwechselt wird

Das k des Abrufs ist nicht die Rangkonstante in der Zusammenführung mehrerer Listen, auch wenn beide k heißen. Und ein hohes k ersetzt keine gute Suche, es verschiebt das Problem nur in den Prompt.

Verwandte Begriffe

Retriever, Reranking, Retrieval Noise, Context Window, Reciprocal Rank Fusion, Chunk Size.