Embeddings, Suche und Retrieval-Augmented Generation
Vector Search
Heißt auch Similarity Search.
Suche nach ähnlichen numerischen Repräsentationen.
Vector Search ist die Suche über Ähnlichkeit von Vektoren. Die Anfrage wird in denselben Raum eingebettet wie die gespeicherten Inhalte, dann wird verglichen und nach Ähnlichkeit sortiert zurückgegeben. Üblich ist dabei die Kosinusähnlichkeit als Maß. Sentence Transformers: Semantic Search
Genau oder schnell, das ist die eigentliche Wahl
Im einfachsten Fall vergleicht die Suche die Anfrage mit jedem gespeicherten Vektor. Das liefert das exakte Ergebnis und wird mit wachsendem Bestand teuer, weil jeder einzelne Vergleich Rechenzeit kostet. Pan et al.
Deshalb arbeiten größere Systeme mit näherungsweisen Verfahren. Sie durchsuchen nicht alles, sondern nur aussichtsreiche Bereiche eines Index, und nehmen dafür in Kauf, dass gelegentlich ein guter Treffer übersehen wird. Für die meisten Anwendungen ist dieser Tausch richtig, für eine Suche nach exakten Duplikaten nicht.
So kannst du dir das vorstellen
Die Suche funktioniert wie die Frage nach den nächsten Nachbarn auf einer Landkarte. Alle Entfernungen einzeln nachzumessen ist genau und langsam. Zuerst in den richtigen Stadtteil zu gehen und dort zu suchen ist schnell und übersieht manchmal jemanden am Rand. Das Bild erklärt den Tausch zwischen Aufwand und Vollständigkeit.
Was es in der Praxis bedeutet
Zwei Größen bestimmen das Ergebnis. Erstens die Zahl der zurückgegebenen Treffer: Zu wenige lassen die Antwort auf halbem Wissen stehen, zu viele füllen den Kontext mit Beifang. Zweitens das Embedding-Modell selbst, denn es entscheidet, was als ähnlich gilt.
Wichtig ist außerdem, was diese Suche nicht kann. Wer eine Rechnungsnummer, einen Eigennamen oder einen Fachbegriff sucht, ist mit einer wortbasierten Suche oft besser bedient. In der Praxis werden deshalb beide Verfahren kombiniert.
Wo es verwechselt wird
Vector Search ist das Verfahren, Semantic Search das Ziel: Vektoren sind ein Weg dorthin, aber nicht der einzige. Und die Vektordatenbank ist der Speicher, auf dem die Suche läuft.
Verwandte Begriffe
Semantic Search, Approximate Nearest Neighbor, Cosine Similarity, Vector Database, Hybrid Search, Retrieval Top-k.