Monosemanticity

Monosemantisch heißt eine Einheit, die sich auf eine Bedeutung zurückführen lässt. Da einzelne Neuronen das selten sind, ist Monosemantizität kein vorgefundener Zustand, sondern ein Ziel: Aktivierungen so zerlegen, dass die Bestandteile jeweils für eine Sache stehen. Bricken et al.

Erreicht wird es durch Zerlegung, nicht durch Suche

Das gängige Verfahren bildet die Aktivierungen auf einen viel größeren Raum ab, in dem pro Eingabe nur wenige Einträge aktiv sein dürfen. Unter dieser Bedingung entstehen Bestandteile, die deutlich eindeutiger auf einzelne Konzepte reagieren als die ursprünglichen Neuronen.

In größeren Modellen ließen sich so Merkmale finden, die auf abstrakte Konzepte ansprechen, und es zeigte sich, dass ihre gezielte Verstärkung das Verhalten des Modells verändert. Templeton et al. Damit ist ein kausaler Bezug belegt und nicht nur eine Korrelation.

So kannst du dir das vorstellen

Ein Mischpult, dessen Regler jeweils ein Instrument steuern, statt jeweils mehrere gleichzeitig. Die Musik ist dieselbe, die Bedienung wird nachvollziehbar. Das Bild erklärt das Ziel der Zerlegung, es unterstellt nicht, dass jedes Merkmal einen eigenen Regler hat.

Was es in der Praxis konkret bedeutet

Aus diesem Zweig kommen Aussagen der Form „wir haben im Modell ein Merkmal für X gefunden und können es verstärken oder dämpfen". Behandle solche Meldungen mit zwei Fragen: Wie wurde das Merkmal benannt, und was passiert mit den übrigen Fähigkeiten, wenn man daran dreht. Für Produktentscheidungen ist das Feld noch nicht praxisreif, für das Verständnis von Sicherheitsberichten schon.

Wo es verwechselt wird

Eindeutig heißt hier eindeutig für den Beobachter, nicht für das Modell. Die Bedeutung eines Merkmals ist eine Beschriftung durch Menschen. Und eine saubere Zerlegung erklärt nicht automatisch, wie das Merkmal im Rechenweg verwendet wird.

Verwandte Begriffe

Polysemanticity, Sparse Autoencoder, Feature Steering, Superposition, Feature, Mechanistic Interpretability.