Attribution Patching

Attribution Patching schätzt ab, was ein Eingriff bewirken würde, statt ihn auszuführen. Grundlage ist eine Näherung über Gradienten, die sich für alle Komponenten gleichzeitig berechnen lässt. Das ersetzt den einzelnen Test pro Komponente durch wenige Durchläufe. Kramár et al.

Der Grund ist schlichte Rechenbarkeit

Ein Eingriff pro Komponente klingt machbar, bis man die Zahl der Komponenten in einem großen Modell betrachtet: Aufmerksamkeitsköpfe, Schichten und Positionen ergeben in der Summe Tausende von Prüfungen, jede mit einem eigenen Durchlauf. Bei aktuellen Modellgrößen wird das unbezahlbar.

Die Näherung ist schnell und kann danebenliegen, besonders bei starken Effekten, wo die zugrunde liegende lineare Annahme nicht mehr trägt. Übliches Vorgehen ist deshalb zweistufig: erst die Näherung über alles laufen lassen, dann die vielversprechenden Stellen mit echten Eingriffen nachprüfen. Zhang und Nanda

So kannst du dir das vorstellen

Eine Wärmebildaufnahme des Gebäudes, um zu sehen, wo Wärme entweicht, bevor jemand einzelne Fenster misst. Das Bild zeigt schnell, wo sich Messen lohnt, und ersetzt die Messung nicht. Das Bild erklärt das zweistufige Vorgehen, es beschreibt kein konkretes Verfahren.

Was es in der Praxis konkret bedeutet

Wer Berichte aus der Interpretierbarkeitsforschung liest, sollte auf diese Unterscheidung achten. Ergebnisse aus reiner Näherung sind Hinweise, Ergebnisse mit nachgeprüften Eingriffen sind belastbarer. Für eigene Arbeit mit Prompts gilt dieselbe Logik: Eine schnelle Abschätzung darüber, welcher Teil wirkt, ersetzt keinen kontrollierten Vergleich.

Wo es verwechselt wird

Attribution Patching ist keine eigene Erkenntnismethode, sondern eine beschleunigte Näherung an Activation Patching. Und es ist nicht dasselbe wie Attributionsverfahren im Sinne von Explainable AI, die den Einfluss von Eingabemerkmalen gewichten.

Verwandte Begriffe

Activation Patching, Circuit, Mechanistic Interpretability, Explainable AI, Activation, Feature.