---
term: "Batch Inference"
slug: "batch-inference"
glossar_id: "G372"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: ""
short: "Gemeinsame beziehungsweise stapelweise Verarbeitung mehrerer Eingaben."
sources:
  - label: "Anthropic: Batch processing"
    url: "https://platform.claude.com/docs/en/build-with-claude/batch-processing"
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
status: "entwurf"
updated: "2026-09-21"
---

Batch Inference bedeutet, viele Anfragen gemeinsam zu verarbeiten, statt jede einzeln und sofort. Angeboten wird das als eigener Weg neben der normalen Schnittstelle: Man reicht eine Menge von Anfragen ein, sie werden ohne Zeitgarantie abgearbeitet, und die Ergebnisse holt man später ab. Eine Dokumentation nennt dafür einen Preisnachlass von fünfzig Prozent bei den meisten Stapeln unter einer Stunde Laufzeit. [Anthropic: Batch processing](https://platform.claude.com/docs/en/build-with-claude/batch-processing)

## Verzicht auf Sofortigkeit ist der Handel

Der Nachlass entsteht, weil der Betreiber frei planen kann. Stapelanfragen lassen sich dann ausführen, wenn Kapazität frei ist, und sie lassen sich dichter bündeln, was die Auslastung der Rechenwerke verbessert. [Kwon et al.](https://arxiv.org/abs/2309.06180)

Für den Nutzer heißt das: keine Zusage, wann das Ergebnis vorliegt. Alles, was ein Mensch im Dialog erwartet, scheidet damit aus.

## So kannst du dir das vorstellen

Der Unterschied ist der zwischen Expressdruck und Sammelauftrag. Der Sammelauftrag kostet weniger, weil die Druckerei ihn einschieben kann, wenn die Maschine sonst stillsteht. Das Bild erklärt den Preisunterschied, nicht die Abläufe in der Druckerei.

## Was es in der Praxis bedeutet

Geeignet ist der Stapelweg für alles, was über Nacht laufen kann: Dokumente klassifizieren, Zusammenfassungen für einen Bestand erzeugen, eine Evaluation über hunderte Testfälle, Übersetzungen eines Archivs.

Praktisch gehören zwei Dinge dazu: eine Kennung je Anfrage, damit sich die Ergebnisse wieder zuordnen lassen, und eine Behandlung von Teilfehlern, weil einzelne Anfragen scheitern können, während der Rest durchläuft.

## Wo es verwechselt wird

Batch Inference ist nicht Continuous Batching: Das eine ist eine Betriebsart mit verzögertem Ergebnis, das andere eine Technik im laufenden Dienst. Und der Nachlass gilt für die Wartezeit, nicht für schlechtere Qualität: Es antwortet dasselbe Modell.

## Verwandte Begriffe

**Continuous Batching**, **Batch Size**, **Model Serving**, **Concurrency**, **Cost per Million Tokens**.