Circuit

Ein Circuit ist eine Gruppe zusammenwirkender Komponenten, die gemeinsam eine bestimmte Berechnung ausführen. Nicht das einzelne Merkmal steht im Mittelpunkt, sondern der Weg: Welche Teile lesen welche Information, was machen sie damit, und wie entsteht daraus das Verhalten. Olah et al.

Gefunden werden Mechanismen, keine Regeln

Ein bekanntes Beispiel aus der Transformer-Forschung sind Mechanismen, die ein Muster aus dem bisherigen Text erkennen und fortsetzen: Kommt eine Zeichenfolge zum zweiten Mal vor, wird das vorhergesagt, was beim ersten Mal darauf folgte. Zwei zusammenarbeitende Aufmerksamkeitsköpfe genügen dafür, und ihre Wirkung lässt sich mathematisch beschreiben. Elhage et al.

Solche Funde erklären konkrete Fähigkeiten, nicht das ganze Modell. Der Nachweis, dass eine Gruppe von Komponenten tatsächlich ursächlich ist, erfordert Eingriffe: Teile abschalten oder ersetzen und beobachten, ob das Verhalten verschwindet.

So kannst du dir das vorstellen

Ein Teilschaltkreis in einem Gerät, etwa der Teil, der das Display ansteuert. Man versteht ihn, ohne das gesamte Gerät zu verstehen, und kann prüfen, ob er ursächlich ist, indem man ihn trennt. Das Bild erklärt den Ausschnittcharakter solcher Funde, es setzt Modelle nicht mit Geräten gleich.

Was es in der Praxis konkret bedeutet

Der Begriff begegnet dir in Sicherheitsberichten, wenn beschrieben wird, wie ein Verhalten zustande kommt. Für die Anwendung ist vor allem die Einschränkung wichtig: Bisher sind einzelne Mechanismen in einzelnen Modellen beschrieben, meist für eng umrissene Aufgaben. Aus einem gefundenen Mechanismus folgt keine Garantie für das Verhalten des Modells insgesamt.

Wo es verwechselt wird

Ein Circuit ist kein fest verdrahteter Pfad im Modell, sondern eine Beschreibung von Zusammenwirken auf einer bestimmten Abstraktionsebene. Und ein gefundener Mechanismus erklärt, wie etwas geschieht, nicht warum das Training dorthin geführt hat.

Verwandte Begriffe

Mechanistic Interpretability, Induction Head, Activation Patching, Feature, Attention Head, Activation.