Multi-Head Attention

Multi-Head Attention, kurz MHA, berechnet mehrere Attention-Ergebnisse mit unterschiedlichen gelernten Projektionen und führt sie zu einer gemeinsamen Darstellung zusammen. (Vaswani et al.) Im klassischen Aufbau hat jeder Kopf eigene Query-, Key- und Value-Projektionen. (Vaswani et al.)

So kannst du dir das vorstellen

Bei einer Bestellung können mehrere Beziehungen gleichzeitig interessant sein: Welches Produkt gehört zu welcher Menge? Welche Lieferadresse gilt? Auf welchen früheren Vorgang bezieht sich eine Bemerkung?

Als Bild kannst du dir mehrere transparente Markierungsfolien über demselben Dokument vorstellen. Jede Folie zeigt einen anderen Blick auf die vorhandenen Angaben. Erst die Zusammenführung ergibt die nächste Arbeitsfassung. Die Folien stehen hier für Rechenzweige, nicht für fest programmierte fachliche Zuständigkeiten.

Mehrere Darstellungsräume

Jeder Kopf vergleicht Queries mit Keys und mischt die zugehörigen Values entsprechend den berechneten Gewichten. (Originalarbeit) Die verschiedenen Projektionen ermöglichen es der Schicht, Informationen aus unterschiedlichen Darstellungsräumen und Positionen parallel einzubeziehen. (Originalarbeit)

Im ursprünglichen Transformer werden die Ergebnisse der Köpfe zunächst aneinandergefügt und dann durch eine gemeinsame lineare Projektion weiterverarbeitet. (Originalarbeit) „Multi-Head“ bedeutet also keine Abstimmung zwischen mehreren vollständigen Sprachmodellen.

Mehr Köpfe bedeuten auch nicht automatisch proportional mehr Rechenaufwand: In der Originalkonstruktion arbeitet jeder Kopf nur auf einem Teil der insgesamt vorgesehenen Dimensionen. (Originalarbeit) Für einen Architekturvergleich solltest du Kopfzahl und Dimensionsgrößen deshalb zusammen betrachten.

Unterschied zu MQA und GQA

Multi-Query Attention teilt Keys und Values über die Query-Köpfe hinweg, während Grouped-Query Attention eine Zwischenform mit mehreren geteilten Key-Value-Gruppen verwendet. (Ainslie et al.) Diese Varianten verändern vor allem die Bereitstellung der Key- und Value-Darstellungen, nicht die Tatsache, dass mehrere Query-Köpfe existieren. (Ainslie et al.)

Eine sinnvolle Rückfrage zu einer Modellbeschreibung lautet daher: Ist mit „Heads“ die Zahl der Query-Köpfe oder die Zahl der Key-Value-Köpfe gemeint? So vermeidest du Vergleiche zwischen unterschiedlich definierten Angaben.

Verwandte Begriffe

Passend sind Attention Head, Multi-Query Attention, Grouped-Query Attention, Self-Attention und Hidden Size.