Embeddings, Suche und Retrieval-Augmented Generation
Hybrid Search
Heißt auch Hybrid Retrieval.
Kombination lexikalischer und semantischer Suchverfahren.
Hybrid Search kombiniert wortbasierte und bedeutungsbasierte Suche. Beide Verfahren laufen über denselben Bestand, und ihre Trefferlisten werden anschließend zu einer zusammengeführt. Der Grund ist einfach: Die beiden Ansätze scheitern an verschiedenen Stellen, und was der eine übersieht, findet oft der andere.
Das Zusammenführen ist der eigentliche Trick
Die Ergebnisse lassen sich nicht direkt vergleichen, weil die Bewertungen auf verschiedenen Skalen liegen. Ein verbreitetes Verfahren umgeht das, indem es nur die Rangplätze verwendet und Treffer nach ihrer Position in den Einzellisten verrechnet. Diese Zusammenführung braucht keine Abstimmung und verlangt nicht, dass die Bewertungen zueinander passen. Elastic: Reciprocal rank fusion
Die Alternative sind gewichtete Summen der normierten Bewertungen. Das erlaubt feinere Steuerung, muss aber je Bestand eingestellt und nach Änderungen nachjustiert werden.
So kannst du dir das vorstellen
Zwei Kollegen durchsuchen dasselbe Archiv, einer nach Stichwörtern, eine nach Bedeutung. Am Ende legen beide ihre Fundliste hin, und jemand baut daraus eine gemeinsame. Wer in beiden Listen oben steht, steht auch in der gemeinsamen oben. Das Bild erklärt die Zusammenführung, es garantiert keine bessere Antwort.
Was es in der Praxis bedeutet
Für die meisten Wissensbestände in Unternehmen ist das die vernünftige Voreinstellung, weil dort beides vorkommt: umschriebene Fachfragen und exakte Kennungen wie Vertragsnummern oder Artikelbezeichnungen.
Der Aufwand steigt allerdings. Zwei Suchwege bedeuten zwei Indizes, zwei Fehlerquellen und eine zusätzliche Stufe, die zu prüfen ist. Und die Verbesserung ist nicht garantiert: Ohne eine Testmenge aus echten Fragen lässt sich nicht sagen, ob die Kombination wirklich besser trifft als die stärkere Einzelsuche. Dass wortbasierte Verfahren dabei eine ernsthafte Messlatte bleiben, zeigt auch die Forschung zum dichten Abruf. Karpukhin et al.
Wo es verwechselt wird
Hybrid Search meint die Kombination von Suchverfahren, nicht die Mischung aus Suche und Generierung. Und Reranking ist keine Zusammenführung, sondern ein nachgelagerter Prüfschritt über der gemeinsamen Liste.
Verwandte Begriffe
Reciprocal Rank Fusion, Lexical Search, Dense Retrieval, BM25, Reranking, Retriever.