---
term: "Batch Size"
slug: "batch-size"
glossar_id: "G373"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: ""
short: "Anzahl gemeinsam verarbeiteter Beispiele oder Sequenzen."
sources:
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
  - label: "Agrawal et al.: Taming Throughput-Latency Tradeoff with Sarathi-Serve"
    url: "https://arxiv.org/abs/2403.02310"
status: "entwurf"
updated: "2026-09-21"
---

Batch Size ist die Zahl der Eingaben, die gemeinsam durch das Modell laufen. Beim Training sind das Beispiele je Lernschritt, beim Betrieb Anfragen, die sich einen Durchlauf teilen. Gemeint ist in diesem Feld meist der Betrieb.

## Größer heißt mehr Durchsatz und mehr Wartezeit

Da die Modellgewichte je Durchlauf nur einmal gelesen werden müssen, steigt der Durchsatz mit der Zahl gebündelter Anfragen deutlich. Begrenzt wird das durch den Speicher für die Zwischenwerte der Aufmerksamkeit, der je Anfrage anfällt und mit der Länge wächst. Genau dieser Platz bestimmt, wie viele Anfragen gleichzeitig laufen können. [Kwon et al.](https://arxiv.org/abs/2309.06180)

Die Kehrseite ist die Wartezeit für den Einzelnen. Je mehr Anfragen sich einen Durchlauf teilen, desto langsamer tröpfeln die Tokens einer einzelnen Antwort. Zwischen Durchsatz und Antwortzeit muss man sich entscheiden. [Agrawal et al.](https://arxiv.org/abs/2403.02310)

## So kannst du dir das vorstellen

Ein Aufzug, der wartet, bis er voll ist. Er befördert mehr Menschen pro Stunde und lässt den Einzelnen länger warten. Das Bild erklärt die Abwägung, es nennt keine richtige Größe.

## Was es in der Praxis bedeutet

Wer selbst betreibt, stellt diese Größe nach dem Einsatzzweck ein: klein für interaktive Anwendungen, groß für Stapelverarbeitung. Eine allgemein richtige Zahl gibt es nicht, weil sie an Modellgröße, Grafikspeicher und typischer Kontextlänge hängt.

Wichtig ist, die Wirkung zu messen, und zwar beides: Tokens pro Sekunde über das ganze System und die Zeit, die eine einzelne Antwort braucht. Wer nur den Durchsatz optimiert, baut ein System, das sich für Nutzer zäh anfühlt.

## Wo es verwechselt wird

Die Bündelgröße im Betrieb ist nicht dieselbe wie im Training, auch wenn der Ausdruck gleich ist. Und sie ist nicht die Zahl gleichzeitiger Nutzer, sondern die Zahl der Anfragen in einem Durchlauf.

## Verwandte Begriffe

**Continuous Batching**, **Concurrency**, **Batch Inference**, **KV Cache**, **Tokens per Second**.