Effective Context

Effective Context oder Effective Context Length bezeichnet in diesem Glossar den Kontextumfang, innerhalb dessen ein Modell die benötigten Informationen für eine bestimmte Aufgabe noch ausreichend zuverlässig nutzen kann. Diese Einordnung unterscheidet praktisch nutzbare Leistung von der bloß zugelassenen Eingabelänge, wie es Langkontextauswertungen etwa mit RULER untersuchen. Hsieh et al.: RULER

Nutzbarkeit braucht einen Maßstab

„Ausreichend zuverlässig“ muss für eine konkrete Bewertung festgelegt werden. Das Wiederfinden eines Satzes, die Zusammenführung mehrerer Angaben und anspruchsvolle Schlussfolgerungen prüfen unterschiedliche Fähigkeiten. Hsieh et al.: RULER

Ein sinnvolles Testergebnis müsste deshalb Modell, Aufgabe, Datenaufbau und Qualitätskriterium nennen. Auch die Platzierung und Struktur relevanter Informationen können bei Langkontextaufgaben eine Rolle spielen. Liu et al.: Lost in the Middle Chroma: Context Rot

Effective Context ist somit keine zweite, überall gleich scharfe technische Abschaltgrenze. Die Studien zeigen vielmehr aufgabenabhängige Leistungskurven innerhalb der grundsätzlich unterstützten Kontextkapazität. Hsieh et al.: RULER Chroma: Context Rot

So kannst du dir das vorstellen

Stell dir einen hypothetischen Test für die Prüfung von Wartungsunterlagen vor. Du legst vorher fest, welche Ausnahmen und Versionsbezüge in einer korrekten Antwort enthalten sein müssen.

Dann wächst das Material schrittweise um weitere Unterlagen. Wenn wichtige Ausnahmen bei längeren Eingaben häufiger fehlen, wäre die technisch mögliche Eingabelänge nicht automatisch die für deinen Prozess brauchbare Länge.

Das ist eine vorgeschlagene Testanordnung, kein gemessenes Ergebnis. Ein anderer Dokumenttyp oder ein anderes Modell könnte zu einem anderen Verlauf führen.

Nicht auf eine Produktzahl verkürzen

RULER zeigt, dass nahezu perfekte Ergebnisse in einfachen Wiederfindetests anspruchsvollere Langkontextprobleme nicht zuverlässig vorhersagen. Hsieh et al.: RULER Eine einzelne beworbene Kontextgröße sollte daher nicht als Nachweis für vollständiges inhaltliches Verständnis gelesen werden.

Für eine betriebliche Freigabe würde ich gerade die Fehlerarten prüfen, die im eigenen Ablauf relevant sind: etwa übersehene Ausschlüsse, falsch verbundene Sachverhalte oder fehlende Quellenbezüge. Die passende Kontextgestaltung lässt sich dann anhand dieser Ergebnisse verbessern, statt nur möglichst viele Tokens einzusenden.

Verwandte Begriffe

Context Window, Context Length, Long Context, Context Rot, Attention Budget.