Embeddings, Suche und Retrieval-Augmented Generation
ColBERT
Heißt auch Late Interaction.
Retrieval mit tokenweisen Repräsentationen und nachgelagerter Interaktion.
ColBERT ist ein Suchverfahren, das zwischen den beiden üblichen Bauformen sitzt. Frage und Dokument werden getrennt verarbeitet, aber nicht zu je einem Vektor zusammengefasst: Jedes Token behält seine eigene Repräsentation. Verglichen wird erst danach, weshalb das Verfahren Late Interaction heißt, also späte Interaktion. Khattab, Zaharia
Feinere Vergleiche bei vorberechneten Dokumenten
Der Vergleich läuft tokenweise: Für jedes Token der Frage wird das ähnlichste Token im Dokument gesucht, und diese Einzelwerte ergeben zusammen die Bewertung. Damit bleiben Details erhalten, die beim Zusammenfassen zu einem einzigen Vektor verlorengehen, etwa ein seltener Fachbegriff in einem langen Absatz.
Weil die Dokumentseite weiterhin vorab berechnet werden kann, bleibt das Verfahren anwendbar auf große Sammlungen. Die Arbeit berichtet gegenüber der paarweisen Bewertung zwei Größenordnungen schnellere Ausführung bei vergleichbarer Qualität.
So kannst du dir das vorstellen
Statt zwei Zusammenfassungen zu vergleichen, legt man die markierten Stellen beider Texte nebeneinander und prüft, wofür es im anderen Text eine Entsprechung gibt. Das ist genauer als ein Vergleich der Zusammenfassungen und billiger, als beide Texte komplett zusammen zu lesen. Das Bild erklärt die späte Verrechnung, nicht die Trainingsweise.
Was es in der Praxis bedeutet
Der Preis steht im Speicher. Statt eines Vektors je Abschnitt fallen viele an, einer je Token, was den Index deutlich größer macht. Verfahren zur Verkleinerung gibt es, sie kosten wieder etwas Qualität.
Für die Auswahl heißt das: Wo die erste Stufe zuverlässig genug ist und ein Reranker dahinter läuft, braucht es den Zwischenweg selten. Interessant wird er bei Beständen mit vielen ähnlichen Texten, in denen einzelne Wörter den Unterschied machen, etwa in technischer Dokumentation. Sentence Transformers: Cross-Encoders
Wo es verwechselt wird
ColBERT ist weder ein reiner Bi-Encoder noch ein Cross-Encoder, sondern ein eigener Zwischenweg. Und der Name bezeichnet ein Verfahren aus der Forschung, das in mehreren Fassungen und Nachbauten existiert.
Verwandte Begriffe
Bi-Encoder, Cross-Encoder, Dense Retrieval, Reranking, Vector Database.