Residual Stream

Als Residual Stream wird bei Transformern der fortlaufende Strom interner Darstellungen bezeichnet, aus dem Teilblöcke Informationen lesen und zu dem sie ihre Beiträge addieren. (Transformer Circuits) Besonders anschaulich ist diese Sicht bei Pre-Norm-Architekturen, die vor den Teilblöcken normalisieren und einen durchgehenden additiven Verbindungspfad behalten. (Xiong et al.)

So kannst du dir das vorstellen

Stell dir ein gemeinsames Arbeitsblatt vor, das nacheinander mehrere Bearbeitungsstationen durchläuft. Jede Station liest den aktuellen Stand und trägt eine Veränderung bei, statt das gesamte Blatt durch ihr isoliertes Ergebnis zu ersetzen.

Die Analogie verdeutlicht den fortlaufenden Informationsweg. Sie hat aber eine wichtige Grenze: Das Modell führt kein lesbares Änderungsprotokoll. Beiträge sind Zahlenvektoren, und ihre Addition kann vorhandene Werte sowohl verstärken als auch abschwächen. (Transformer Circuits)

Der Gedanke hinter der Residualverbindung

Eine Residualverbindung kombiniert eine Eingabe mit dem Ergebnis eines Teilblocks: Zur bisherigen Darstellung wird ein berechneter Änderungsbeitrag addiert. (Vaswani et al.) Der Residual Stream beschreibt den über viele solcher Schritte laufenden Informationskanal, nicht lediglich eine einzelne Verbindung. (Transformer Circuits)

Dabei besitzt jede Tokenposition ihre eigene Vektordarstellung; Attention kann Informationen zwischen Positionen übertragen, während ein MLP beziehungsweise Feed-Forward-Netz die Darstellung einer Position weiterverarbeitet. (Transformer Circuits) Der Stream ist somit kein einzelner gemeinsamer Zahlenwert für den gesamten Text.

Keine unveränderliche Ablage

Die addierten Beiträge liegen im selben Darstellungsraum und sind nicht automatisch als getrennte, dauerhaft abrufbare Einträge aufbewahrt. (Transformer Circuits) Auch die genaue Normalisierungsanordnung beeinflusst, wie der Informationsweg mathematisch beschrieben werden sollte. (Xiong et al.)

Deshalb passt das Bild eines Archivs mit unveränderten Dokumentkopien hier nicht. Ebenso wenig sollte „Stream“ mit dem sichtbaren schrittweisen Erscheinen einer Chatantwort verwechselt werden: Gemeint ist in diesem Artikel die interne Weitergabe von Darstellungen durch die Modellschichten.

Verwandte Begriffe

Hierzu gehören Transformer, Pre-Norm / Post-Norm, Hidden Size, Attention und Feed-Forward Network.