---
term: "Sparse Autoencoder"
slug: "sparse-autoencoder"
glossar_id: "G540"
variants: []
category: "interpretierbarkeit-und-fortgeschrittene-alignment-risiken"
marker: "Technik"
short: "Modell zur Zerlegung von Aktivierungen in dünn besetzte Merkmale."
sources:
  - label: "Bricken et al.: Towards Monosemanticity"
    url: "https://transformer-circuits.pub/2023/monosemantic-features/index.html"
  - label: "Gao et al.: Scaling and evaluating sparse autoencoders"
    url: "https://arxiv.org/abs/2406.04093"
status: "entwurf"
updated: "2026-09-21"
---

Ein Sparse Autoencoder ist ein kleines Hilfsmodell, das die Aktivierungen eines Sprachmodells zerlegt. Es bildet sie auf einen viel größeren Raum ab, in dem pro Eingabe nur wenige Einträge aktiv sein dürfen, und rekonstruiert daraus das Original. Unter dieser Bedingung entstehen Bestandteile, die deutlich eindeutiger auf einzelne Konzepte reagieren als die ursprünglichen Neuronen. [Bricken et al.](https://transformer-circuits.pub/2023/monosemantic-features/index.html)

## Zwei Größen stehen gegeneinander

Beim Training zählt zweierlei: Wie gut lässt sich das Original rekonstruieren, und wie wenige Einträge sind dafür nötig. Wer die Zahl der aktiven Einträge senkt, verliert Genauigkeit bei der Rekonstruktion, und umgekehrt. Dieses Verhältnis bestimmt die Qualität der Zerlegung. [Gao et al.](https://arxiv.org/abs/2406.04093)

Dazu kommt die Größe. Da ein Sprachmodell sehr viele Konzepte kennt, braucht ein Autoencoder viele Millionen möglicher Merkmale, um sie zu erfassen. Das macht das Verfahren rechenintensiv und die Auswertung aufwendig, denn jedes gefundene Merkmal muss anschließend von Menschen oder mit Modellhilfe benannt werden.

## So kannst du dir das vorstellen

Ein Mischsignal aus vielen Stimmen wird in Einzelspuren zerlegt, mit der Vorgabe, dass in jedem Moment nur wenige Spuren klingen. Aus dem Gewirr werden benennbare Stimmen. Das Bild erklärt die Idee der dünnen Besetzung, es beschreibt kein konkretes Verfahren.

## Was es in der Praxis konkret bedeutet

Für eigene Anwendungen ist das Werkzeug zu aufwendig. Relevant wird es indirekt: Wenn ein Anbieter berichtet, ein bestimmtes Verhalten im Modell gefunden und gedämpft zu haben, steckt meist eine solche Zerlegung dahinter. Nützlich ist die Kenntnis für die Einordnung solcher Meldungen, denn ein gefundenes Merkmal ist ein Befund über die Zerlegung, nicht zwingend über das Modell.

## Wo es verwechselt wird

Ein Autoencoder in diesem Sinn erklärt nicht das Modell, sondern zerlegt dessen Zwischenzustände. Und die Namen der Merkmale sind menschliche Beschriftungen, keine Angaben aus dem Modell.

## Verwandte Begriffe

**Monosemanticity**, **Polysemanticity**, **Superposition**, **Feature**, **Feature Steering**, **Activation**.