---
term: "FlashAttention"
slug: "flashattention"
glossar_id: "G376"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: "Technik"
short: "Attention-Implementierung mit effizienterem Speicherzugriff."
sources:
  - label: "Dao et al.: FlashAttention"
    url: "https://arxiv.org/abs/2205.14135"
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
status: "entwurf"
updated: "2026-09-21"
---

FlashAttention ist eine Umsetzung der Aufmerksamkeitsberechnung, die auf die Speicherzugriffe der Grafikkarte achtet. Sie rechnet exakt dasselbe wie die übliche Umsetzung, aber in Kacheln, sodass weniger Daten zwischen dem großen, langsamen Grafikspeicher und dem kleinen, schnellen Zwischenspeicher auf dem Chip hin und her wandern. [Dao et al.](https://arxiv.org/abs/2205.14135)

## Der Engpass ist der Weg zum Speicher, nicht das Rechnen

Aufmerksamkeit wächst quadratisch mit der Sequenzlänge, was lange Texte teuer macht. Vorher versuchte man, das über Näherungen zu lösen, was Qualität kostete und in der Praxis oft nicht einmal schneller war.

Der andere Weg war die Erkenntnis, dass die Bewegung der Daten den Ausschlag gibt. Wer die Zwischenmatrix gar nicht erst vollständig in den Speicher schreibt, spart Zeit und Platz, ohne am Ergebnis etwas zu ändern. Zusammen mit der blockweisen Verwaltung des Zwischenspeichers gehört das heute zur Grundausstattung im Serving. [Kwon et al.](https://arxiv.org/abs/2309.06180)

## So kannst du dir das vorstellen

Zwei Köche mit demselben Rezept: Der eine holt jede Zutat einzeln aus dem Keller, der andere trägt einmal eine Kiste hoch und arbeitet auf der Anrichte. Gleiches Gericht, deutlich weniger Wege. Das Bild erklärt den Gewinn durch kurze Wege, nicht die Rechenschritte.

## Was es in der Praxis bedeutet

Für die meisten ist das eine Zeile in den Anforderungen: Wer ein Modell selbst betreibt, sollte eine Umgebung wählen, die diese Umsetzung nutzt, und darauf achten, dass die Grafikkarte dafür geeignet ist.

Wichtig für die Einordnung von Werbeaussagen: Diese Beschleunigung geht nicht auf Kosten der Qualität, weil sie dasselbe Ergebnis liefert. Das unterscheidet sie von Verfahren wie Quantisierung, bei denen Genauigkeit gegen Geschwindigkeit getauscht wird.

## Wo es verwechselt wird

FlashAttention ist keine andere Art von Aufmerksamkeit, sondern dieselbe Berechnung in effizienter Reihenfolge. Und sie ist nicht dasselbe wie die Speicherverwaltung des Zwischenspeichers, auch wenn beides zusammen eingesetzt wird.

## Verwandte Begriffe

**Attention**, **PagedAttention**, **Memory-Bound**, **Model Serving**, **KV Cache**.