OOM

OOM steht für Out of Memory und bezeichnet den Abbruch, wenn Speicher angefordert wird, der nicht mehr verfügbar ist. Bei Sprachmodellen betrifft das meist den Grafikspeicher, und der Abbruch kommt oft nicht beim Start, sondern mitten im Betrieb. NVIDIA

Der Bedarf wächst während der Arbeit

Das Laden der Gewichte ist planbar. Was danach dazukommt, ist es weniger: Der Zwischenspeicher für den Kontext wächst mit jeder Anfrage und mit jedem erzeugten Token, und mehrere gleichzeitige Anfragen addieren sich. Deshalb läuft ein Dienst tagelang und bricht dann bei einer ungewöhnlich langen Eingabe ab.

Serversoftware begegnet dem mit Vorabreservierung: Ein fester Anteil des Speichers wird beim Start für den Kontextspeicher belegt und verwaltet, statt bei Bedarf anzufordern. Dadurch wird die Grenze berechenbar, und Anfragen werden abgewiesen oder eingereiht, statt den Dienst abstürzen zu lassen. vLLM

So kannst du dir das vorstellen

Ein Aufzug mit Gewichtsgrenze. Solange dieselben Leute fahren, geht es gut; sobald jemand mit schwerem Gepäck zusteigt, bleibt er stehen. Das Bild erklärt, warum der Fehler unvorhersehbar wirkt, es beschreibt keinen konkreten Ablauf.

Was es in der Praxis konkret bedeutet

Wenn ein Abbruch auftritt, sind vier Stellschrauben üblich: Kontextlänge begrenzen, Zahl gleichzeitiger Anfragen begrenzen, stärker komprimiertes Modell verwenden, oder den Anteil vorab reservierten Speichers senken, damit Reserve bleibt. Für produktive Dienste gehört eine Obergrenze für die Eingabelänge in die Anwendung, nicht erst in die Serversoftware.

Wo es verwechselt wird

Ein Speicherabbruch auf der Grafikkarte ist etwas anderes als einer im Arbeitsspeicher, auch wenn die Abkürzung dieselbe ist. Und er bedeutet nicht, dass das Modell zu groß ist: Häufig ist der Kontext oder die Zahl paralleler Anfragen die Ursache.

Verwandte Begriffe

VRAM, KV Cache, GPU Offloading, Rate Limits, Continuous Batching, Context Overflow.