Context Stuffing

Context Stuffing bezeichnet hier die Vorgehensweise, möglichst viel verfügbares Material weitgehend ungefiltert in den Modellkontext zu laden. Breunig diskutiert dieses Prinzip als problematisches „Alles hinein“-Vorgehen bei wachsenden Kontextfenstern. Drew Breunig: How Contexts Fail

Menge ersetzt keine Auswahl

Ein großes Kontextfenster erleichtert es, umfangreiche Inhalte bereitzustellen. Es garantiert jedoch nicht, dass das Modell daraus die richtigen Angaben auswählt und zuverlässig nutzt. Hsieh et al.: RULER Chroma: Context Rot

Sinnvoller ist deshalb ein gezielt zusammengestellter Kontext mit hoher Relevanz statt das unkritische Ausschöpfen sämtlicher verfügbarer Kapazität. Anthropic: Context Engineering Die passende Menge richtet sich nach der Aufgabe und den benötigten Informationen. Anthropic: Context Engineering

Der Ausdruck „Stuffing“ ist hier eine beschreibende Bezeichnung, kein festgelegtes technisches Verfahren. Nicht jede lange Eingabe ist Context Stuffing: Wenn die Aufgabe tatsächlich den gesamten Text benötigt, kann dessen vollständige Bereitstellung sachlich begründet sein.

So kannst du dir das vorstellen

Du möchtest hypothetisch wissen, welche Lieferfrist für einen bestimmten Auftrag vereinbart wurde. Statt den Auftrag und die zugehörigen Änderungen auszuwählen, kopiert die Anwendung sämtliche Kundenakten und zahlreiche alte Preislisten in die Eingabe.

Das Vorgehen wirkt zunächst vollständig, klärt aber noch nicht, welcher Beleg für die konkrete Frage maßgeblich ist. Ein kürzerer Kontext mit Vertrag, Änderungsnachtrag und eindeutiger Auftragskennung wäre mein erster Vergleichskandidat.

Ob er tatsächlich besser funktioniert, müsste ein Test zeigen. Wenn weitere Unterlagen für Ausnahmen erforderlich sind, müssten diese ebenfalls enthalten sein.

Nicht mit sorgfältiger Langkontextanalyse verwechseln

Langkontextaufgaben können das Zusammenführen vieler verteilter Angaben erfordern. Hsieh et al.: RULER Ein pauschales Kürzen auf wenige Sätze wäre dafür ebenso wenig angemessen wie ungefiltertes Auffüllen.

Ich würde vor der Aufnahme größerer Materialmengen fragen, welchen konkreten Beitrag jede Gruppe von Unterlagen leisten soll. Diese Begründung macht den Unterschied zwischen bewusster Breite und bloßer Datenanhäufung überprüfbar.

Verwandte Begriffe

Long Context, Context Pollution, Context Curation, Minimum Viable Context, Token Budget.