Superposition

Superposition bezeichnet den Befund, dass ein Modell mehr Merkmale darstellt, als es Dimensionen dafür hat. Möglich wird das, weil die meisten Merkmale in einem gegebenen Text nicht vorkommen: Sind sie selten, lassen sie sich überlagert speichern und beim Lesen wieder trennen. Der Preis ist Interferenz, also gegenseitige Störung. Elhage et al.

Nachgewiesen an absichtlich kleinen Modellen

Gezeigt wurde das an kleinen Netzen mit künstlichen Daten, bei denen sich genau steuern lässt, wie viele Merkmale es gibt und wie selten sie auftreten. Bei dichten Merkmalen lernt ein solches Modell nur die wichtigsten und ignoriert den Rest. Werden die Merkmale dünn verteilt, ändert sich das Verhalten: Das Modell komprimiert und stellt mehr Merkmale dar, als Platz vorhanden wäre.

Dieses Ergebnis erklärt eine ältere Beobachtung, nämlich warum einzelne Neuronen in Sprachmodellen selten sauber einem Konzept entsprechen. Bricken et al.

So kannst du dir das vorstellen

Ein Aktenschrank mit zehn Fächern für dreißig Themen. Weil selten mehr als zwei Themen gleichzeitig gebraucht werden, legt man mehrere in ein Fach und sortiert beim Herausnehmen. Gelegentlich greift man daneben. Das Bild erklärt Kompression und Interferenz, es beschreibt keinen konkreten Speichermechanismus.

Was es in der Praxis konkret bedeutet

Die Erkenntnis erklärt, warum sich Modelle schwer punktuell reparieren lassen. Wer ein unerwünschtes Verhalten abschalten will, trifft mit hoher Wahrscheinlichkeit andere Fähigkeiten mit, weil dieselben Einheiten mehreres tragen. Für den Alltag folgt daraus: Verhalten steuert man zuverlässiger über Anweisungen, Prüfungen und Berechtigungen als über Eingriffe ins Modell.

Wo es verwechselt wird

Der Begriff stammt aus der Physik, meint hier aber keine Quantenzustände, sondern schlicht überlagerte Repräsentation. Und Superposition ist eine gut gestützte Hypothese über gelernte Repräsentationen, kein bewiesener Aufbau jedes Modells.

Verwandte Begriffe

Polysemanticity, Monosemanticity, Sparse Autoencoder, Feature, Activation, Mechanistic Interpretability.