Embedding

Ein Embedding ist die Darstellung eines Inhalts als Zahlenfolge. Technisch ist es ein Vektor, also eine Liste von Kommazahlen, mit der sich Texte, Bilder oder andere Daten vergleichen lassen. OpenAI: Embeddings Die Länge dieser Liste, also die Zahl der Dimensionen, hängt vom verwendeten Modell ab und liegt oft im Bereich einiger hundert bis einiger tausend Werte.

Nähe im Zahlenraum soll Ähnlichkeit bedeuten

Der Zweck ist eine Rechenoperation: Ähnlichkeit wird zum Abstand. Zwei Texte, die dasselbe meinen, sollen Vektoren bekommen, die nah beieinander liegen, auch wenn sie kein Wort gemeinsam haben. Umgekehrt sollen gleiche Wörter in unterschiedlicher Bedeutung auseinanderliegen.

Die Idee stammt aus der Arbeit an Wortvektoren, in der gezeigt wurde, dass sich solche Repräsentationen aus großen Textmengen günstig lernen lassen und dabei syntaktische und semantische Ähnlichkeiten abbilden. Mikolov et al. Heutige Verfahren arbeiten meist mit ganzen Sätzen oder Abschnitten statt mit einzelnen Wörtern.

So kannst du dir das vorstellen

Ein Embedding ist eine Koordinate. Wie eine Adresse auf einer Landkarte sagt sie für sich genommen wenig, aber sie erlaubt die Frage, was in der Nähe liegt. Das Bild erklärt den Zweck der Zahlenfolge, es sagt nichts darüber, welche Eigenschaften die einzelnen Zahlen messen.

Was es in der Praxis bedeutet

Typische Anwendungen sind Suche, Gruppieren ähnlicher Inhalte, Empfehlungen und das Erkennen von Ausreißern. Wichtig ist dabei: Embeddings aus verschiedenen Modellen sind nicht vergleichbar. Wer das Modell wechselt, muss den gesamten Bestand neu berechnen, sonst liegen alte und neue Vektoren in verschiedenen Räumen.

Zweitens ist ein Embedding kein Verständnis. Es misst Nähe in dem Sinn, in dem das Modell gelernt hat, Nähe zu messen. Verneinungen, Zahlen oder Fachbegriffe können dabei verlorengehen, weshalb sich zwei Texte ähnlich sehen können, obwohl sie das Gegenteil aussagen.

Wo es verwechselt wird

Ein Embedding ist kein Token: Tokens sind Verarbeitungseinheiten der Eingabe, Embeddings sind berechnete Repräsentationen. Und es ist keine verschlüsselte Fassung des Textes, auch wenn es zahlenförmig aussieht.

Verwandte Begriffe

Embedding Space, Contextualized Embedding, Vector Search, Cosine Similarity, Dense Retrieval, Tokens.