Embeddings, Suche und Retrieval-Augmented Generation
Latent Space
Heißt auch Latenter Raum.
Interner Repräsentationsraum gelernter Merkmale.
Der Latent Space, auf Deutsch latenter Raum, ist der interne Raum, in dem ein Modell gelernte Merkmale darstellt. Ein Glossar führt ihn als gleichbedeutend mit dem Embedding Space. Google: Machine Learning Glossary Latent heißt dabei verborgen: Die Größen in diesem Raum stehen nicht in den Daten, sie entstehen beim Lernen.
Verdichtung ist der Zweck
Der Nutzen liegt in der Verkleinerung. Ein Bild mit Millionen Bildpunkten lässt sich als Punkt in einem viel kleineren Raum darstellen, der das Wesentliche behält und Details weglässt. In der Bilderzeugung wird genau das ausgenutzt: Der aufwendige Erzeugungsprozess läuft nicht auf den Bildpunkten, sondern in einem gelernten, komprimierten Raum, was den Rechenaufwand erheblich senkt. Rombach et al.
Verborgen heißt allerdings auch: Niemand kann sagen, wofür eine einzelne Dimension steht. Die Zuordnung entsteht beim Training und ist nicht dafür gemacht, gelesen zu werden.
So kannst du dir das vorstellen
Der latente Raum ist wie die Beschreibung eines Gesichts durch wenige Merkmale statt durch jeden einzelnen Bildpunkt. Aus der Beschreibung lässt sich ein ähnliches Gesicht rekonstruieren, aber nicht dasselbe Foto. Das Bild erklärt die Verdichtung, es sagt nichts darüber, welche Merkmale ein Modell tatsächlich gelernt hat.
Was es in der Praxis bedeutet
Im Sprachgebrauch rund um Suche und Retrieval kannst du latenter Raum und Vektorraum meist gleichsetzen. Der Ausdruck taucht häufiger dort auf, wo es um erzeugende Modelle geht, etwa in der Bilderzeugung.
Wichtig ist die Konsequenz der Verdichtung: Was beim Komprimieren wegfällt, ist weg. Feine Unterschiede, die im Raum nicht abgebildet sind, kann auch die beste Suche darauf nicht mehr finden.
Wo es verwechselt wird
Latenter Raum und Embedding Space werden weitgehend gleichbedeutend benutzt, wobei Embedding Space eher im Zusammenhang mit Suche steht. Nicht gemeint ist der Zwischenzustand eines laufenden Agenten.
Verwandte Begriffe
Embedding Space, Embedding, Sparse Autoencoder, Diffusion Language Model, Vector Search.