Embeddings, Suche und Retrieval-Augmented Generation
Embedding Space
Heißt auch Vektorraum.
Raum, in dem die numerischen Repräsentationen liegen.
Der Embedding Space, auf Deutsch Vektorraum oder Einbettungsraum, ist der Raum, in dem die berechneten Vektoren liegen. Jede Dimension ist eine Zahl je Vektor, und die Lage der Punkte zueinander soll inhaltliche Nähe ausdrücken. Ein Raum mit 1536 Dimensionen ist dabei nichts Anschauliches mehr, sondern schlicht eine Liste mit 1536 Koordinaten je Eintrag.
Richtungen können Bedeutung tragen
Interessant ist der Raum wegen seiner Struktur. Das Glossar eines Anbieters beschreibt als Beispiel, dass der Abstand zwischen den Vektoren für Kuh und Stier ähnlich ausfällt wie der zwischen Mutterschaf und Widder. Google: Machine Learning Glossary Solche Regelmäßigkeiten wurden an Wortvektoren untersucht und waren ein Grund für deren Verbreitung. Mikolov et al.
Wichtig ist, was daraus nicht folgt. Die einzelnen Dimensionen haben keine benennbare Bedeutung, und die Regelmäßigkeiten gelten nicht überall im Raum gleich gut.
So kannst du dir das vorstellen
Der Raum ist eine Landkarte ohne Beschriftung der Achsen. Du siehst, was nebeneinander liegt, aber niemand kann sagen, wofür Norden steht. Das Bild erklärt die Lesart des Raumes, es unterstellt keine gleichmäßige Verteilung der Inhalte darin.
Was es in der Praxis bedeutet
Jedes Modell spannt seinen eigenen Raum auf. Vektoren zweier Modelle zu vergleichen ergibt keinen Sinn, auch wenn die Zahl der Dimensionen zufällig gleich ist. Beim Modellwechsel muss deshalb der gesamte Bestand neu berechnet werden, was bei großen Sammlungen Zeit und Geld kostet.
Mehr Dimensionen sind außerdem nicht automatisch besser. Sie kosten Speicher und Rechenzeit bei jeder Suche, und manche Modelle erlauben ausdrücklich, die Vektoren zu kürzen, wenn die Genauigkeit dafür ausreicht.
Wo es verwechselt wird
Embedding Space und Latent Space werden oft gleichbedeutend benutzt. Und der Raum ist nicht die Datenbank: Die Datenbank speichert die Vektoren und durchsucht sie, der Raum ist das mathematische Bild dahinter.
Verwandte Begriffe
Embedding, Latent Space, Vector Search, Cosine Similarity, Vector Database.