Embeddings, Suche und Retrieval-Augmented Generation
Contextualized Embedding
Repräsentation, die die jeweilige Verwendung eines Ausdrucks berücksichtigt.
Ein Contextualized Embedding ist eine Repräsentation, die vom Satz abhängt, in dem ein Ausdruck vorkommt. Dasselbe Wort bekommt in „Bank am Fluss" und „Geld auf der Bank" verschiedene Vektoren. Ältere Verfahren konnten das nicht: Dort hatte jedes Wort einen festen Vektor, unabhängig von der Verwendung.
Der Kontext wird beim Berechnen mitgelesen
Den Durchbruch brachten Modelle, die beim Erzeugen der Repräsentation den Text nach links und nach rechts berücksichtigen, statt nur in eine Richtung zu lesen. Devlin et al.: BERT Ein Anbieterglossar beschreibt solche Repräsentationen als solche, die dem Verständnis von Wörtern und Wendungen nahekommen, einschließlich Satzbau und Bedeutung im Zusammenhang. Google: Generative AI Glossary
Praktisch heißt das: Es gibt keine Tabelle mehr, in der man den Vektor eines Wortes nachschlägt. Er entsteht bei jeder Verarbeitung neu.
So kannst du dir das vorstellen
Der Unterschied ist der zwischen einem Wörterbuch und einer Übersetzerin. Das Wörterbuch gibt für „Schloss" immer denselben Eintrag, die Übersetzerin fragt, ob es um Türen oder um Fürsten geht. Das Bild erklärt die Rolle des Zusammenhangs, es behauptet kein Verstehen im menschlichen Sinn.
Was es in der Praxis bedeutet
Für die Suche ist das der Grund, warum Abschnitte und nicht einzelne Wörter eingebettet werden. Ein Abschnitt bringt den Zusammenhang mit, aus dem die Bedeutung entsteht.
Daraus folgt auch eine Grenze für den Zuschnitt: Ein Abschnitt, der mitten im Gedanken abbricht, liefert eine Repräsentation für einen unvollständigen Gedanken. Und Abschnitte, deren Bezug außerhalb steht, etwa Tabellen ohne Überschrift oder Absätze voller Pronomen, werden schlecht gefunden, weil der Kontext fehlt, der sie erklärt.
Wo es verwechselt wird
Kontextabhängig heißt nicht auf den Nutzer zugeschnitten: Gemeint ist der umgebende Text, nicht die Person, die sucht. Und der Begriff meint nicht das Kontextfenster eines Sprachmodells, auch wenn beides das Wort Kontext trägt.
Verwandte Begriffe
Embedding, Embedding Space, Chunk, Dense Retrieval, Semantic Search, Context Window.