Grouped-Query Attention

Grouped-Query Attention, kurz GQA, fasst Query-Köpfe zu Gruppen zusammen, die jeweils gemeinsame Keys und Values nutzen. (Ainslie et al.) Die Variante liegt damit zwischen klassischer Multi-Head Attention mit eigenen Keys und Values pro Kopf und Multi-Query Attention mit einem einzigen gemeinsam genutzten Key-Value-Paar. (Ainslie et al.)

So kannst du dir das vorstellen

Als frei gewähltes Rechenbeispiel nehmen wir acht Arbeitsplätze. Jeder bearbeitet eine eigene Fragestellung, aber jeweils vier Plätze teilen sich eine vorbereitete Ablage. Es gibt also acht Fragesteller und zwei Ablagen.

Übertragen auf die Architektur wären das acht Query-Köpfe und zwei Key-Value-Köpfe. Die Gruppierung verbindet weiterhin unterschiedliche Abfragen mit einer teilweise gemeinsamen Informationsgrundlage. Das Beispiel beschreibt nur die Aufteilung, keine echte Modellkonfiguration und keinen gemessenen Geschwindigkeitsgewinn.

Weniger Daten für die Generierung

Ein Attention-Kopf gleicht einen Query-Vektor mit Keys ab und mischt die zugehörigen Values entsprechend den resultierenden Gewichten. (Vaswani et al.) Bei schrittweiser Textgenerierung können Keys und Values früherer Tokens zwischengespeichert werden; ihre gemeinsame Nutzung verringert den Umfang dieser Daten. (Shazeer)

GQA soll den Effizienzvorteil geteilter Keys und Values mit einem geringeren Qualitätsrisiko als die stärkste gemeinsame Nutzung bei MQA verbinden. (Ainslie et al.) Die Originalarbeit berichtet günstige Ergebnisse in ihren untersuchten Konfigurationen, aber daraus folgt keine unveränderte Qualität für jedes Modell und jede Aufgabe. (Ainslie et al.)

Was du aus einer Konfiguration ablesen kannst

Für die Einordnung brauchst du sowohl die Zahl der Query-Köpfe als auch die Zahl der Key-Value-Köpfe. (Ainslie et al.) Die Angabe „acht Köpfe“ wäre ohne diese Unterscheidung unvollständig.

Prüfe in technischen Vergleichen außerdem, ob dieselben Kontextlängen und Betriebsbedingungen zugrunde liegen. GQA ist eine konkrete Architekturentscheidung, kein unabhängiges Gütesiegel für den gesamten Assistenten und keine Gruppierung von Nutzeranfragen.

Verwandte Begriffe

Weiterführend sind Multi-Head Attention, Multi-Query Attention, Attention Head, KV Cache und Multi-Head Latent Attention.