Embeddings, Suche und Retrieval-Augmented Generation
Lexical Search
Heißt auch Keyword Search.
Suche auf Grundlage von Wörtern und lexikalischen Übereinstimmungen.
Lexical Search, auch Stichwortsuche, findet Dokumente über die Wörter, die darin vorkommen. Das System zerlegt Texte und Anfrage in Wortformen und bewertet Treffer danach, wie oft ein Wort im Dokument steht, wie selten es im gesamten Bestand ist und wie lang das Dokument insgesamt ausfällt. Manning, Raghavan, Schütze
Alt, schnell und erstaunlich schwer zu schlagen
Die Verfahren dahinter sind Jahrzehnte alt und bis heute im Einsatz, weil sie wenig Rechenzeit brauchen, ohne Training auskommen und nachvollziehbar sind: Man kann zeigen, welches Wort den Treffer verursacht hat. Auch in der Forschung zu neueren Verfahren dient die Stichwortsuche als Messlatte, die erst einmal übertroffen werden muss. Karpukhin et al.
Die Schwäche ist ebenso bekannt. Wer nach „Kündigungsfrist" sucht, findet keinen Abschnitt, der von „Beendigung des Vertragsverhältnisses" spricht. Synonyme, Umschreibungen und andere Wortformen gehen verloren, soweit die Aufbereitung sie nicht abfängt.
So kannst du dir das vorstellen
Die Stichwortsuche arbeitet wie das Register am Ende eines Buches. Es führt dich zuverlässig zu jeder Seite, auf der das Wort steht, und niemals zu einer Seite, auf der die Sache anders genannt wird. Das Bild erklärt Stärke und Grenze zugleich, es beschreibt keine konkrete Implementierung.
Was es in der Praxis bedeutet
Für alles, was genau geschrieben werden muss, ist diese Suche die bessere Wahl: Aktenzeichen, Artikelnummern, Personennamen, Fehlermeldungen, Codebezeichner. Dort schadet Bedeutungsähnlichkeit sogar, weil sie ähnliche, aber falsche Einträge nach oben zieht.
Verbessern lässt sie sich mit Mitteln, die nichts mit KI zu tun haben: eine Liste von Synonymen, Wortstammbildung für die eigene Sprache, sinnvoller Umgang mit Zusammensetzungen im Deutschen. In vielen Projekten bringt das mehr als ein Wechsel des Suchverfahrens.
Wo es verwechselt wird
Lexikalisch ist nicht dasselbe wie exakt: Auch diese Suche bewertet und sortiert, statt nur zu filtern. Und sie ist nicht das Gegenteil der semantischen Suche, sondern deren übliche Ergänzung.
Verwandte Begriffe
BM25, Sparse Retrieval, Semantic Search, Hybrid Search, Dense Retrieval, Retriever.