Architektur und interne Modellbausteine
Attention Head
Heißt auch Attention-Kopf.
Einzelner Attention-Baustein mit eigenen Gewichtungen und Projektionen.
Ein Attention Head ist ein einzelner Berechnungszweig innerhalb einer Attention-Schicht, der aus projizierten Queries, Keys und Values eine gewichtete Informationsmischung erzeugt. (Vaswani et al.) In klassischer Multi-Head Attention besitzen die Köpfe unterschiedliche gelernte Projektionen und ihre Ergebnisse werden anschließend zusammengeführt. (Vaswani et al.)
So kannst du dir das vorstellen
Stell dir vor, du betrachtest dieselbe Auftragsliste durch mehrere verschieden eingestellte Filter. Einer hebt möglicherweise räumliche Bezüge hervor, ein anderer bestimmte Kombinationen von Angaben.
Das Bild soll verdeutlichen, dass aus denselben Ausgangsdaten unterschiedliche Darstellungen entstehen können. Es wäre jedoch irreführend, jedem Kopf vorab einen Beruf wie „Grammatikprüfer“ oder „Zahlenexperte“ zuzuschreiben. Für das Verständnis genügt zunächst: Jeder Zweig liefert einen rechnerischen Beitrag.
Was ein Kopf tatsächlich berechnet
Query und Key sind Zahlenvektoren für den Abgleich zwischen Positionen; die resultierenden Gewichte bestimmen, wie stark die jeweiligen Value-Vektoren in das Ergebnis eingehen. (Originalarbeit) Ein Kopf arbeitet damit in einem durch seine Projektionen festgelegten Darstellungsraum. (Originalarbeit)
In der ursprünglichen Multi-Head-Konstruktion werden die Kopfresultate aneinandergefügt und mit einer weiteren gelernten Projektion auf die Modellbreite zurückgeführt. (Originalarbeit) Das Resultat ist eine interne Darstellung, keine eigenständige Antwort jedes Kopfes. (Originalarbeit)
Kopfzahl richtig lesen
Die Anzahl der Köpfe allein ist kein ausreichender Vergleichsmaßstab; die Originalarbeit teilt beispielsweise die verfügbaren Dimensionen auf mehrere kleinere Köpfe auf. (Originalarbeit) Prüfe daher auch die Modellbreite und die verwendete Attention-Variante.
Bei Grouped-Query Attention teilen mehrere Query-Köpfe dieselben Key- und Value-Köpfe, sodass verschiedene Kopfzahlen für ein Modell genannt werden können. (Ainslie et al.) Ein Attention Head ist außerdem von einem Ausgabekopf zu unterscheiden, der die fertigen internen Merkmale auf eine konkrete Modellaufgabe abbildet. (Hugging Face)
Verwandte Begriffe
Weiterführen können Multi-Head Attention, Grouped-Query Attention, Hidden Size, Model Head und Attention.