Reasoning und Test-Time Compute
Test-Time Scaling
Heißt auch Inference-Time Scaling.
Verbesserung durch erhöhten Rechenaufwand während der Inferenz.
Test-Time Scaling beschreibt, wie sich die Leistung eines Modells oder Systems verändert, wenn mehr Rechenaufwand während der Aufgabenbearbeitung eingesetzt wird. Snell et al.: Test-Time Compute Ziel ist eine bessere Lösung durch zusätzliche Inferenzarbeit, beispielsweise durch mehr Kandidaten, Suchschritte oder Überarbeitungen. Snell et al.: Test-Time Compute
Nicht einfach länger schreiben lassen
Die Forschung betrachtet verschiedene Stellgrößen: Anzahl unabhängiger Antworten, Länge von Überarbeitungsketten und Umfang einer Suche mit bewerteten Zwischenschritten. Snell et al.: Test-Time Compute Entscheidend ist damit auch, wofür der zusätzliche Aufwand verwendet wird. Snell et al.: Test-Time Compute
Bei serieller Bearbeitung bauen spätere Versuche auf früheren auf; bei paralleler Kandidatenerzeugung entstehen unterschiedliche Versuche unabhängig voneinander. Snell et al.: Test-Time Compute Beide Vorgehensweisen lassen sich kombinieren. Snell et al.: Test-Time Compute
Ein Skalierungsergebnis beschreibt den Zusammenhang zwischen Ressourceneinsatz und gemessener Qualität unter bestimmten Bedingungen. Snell et al.: Test-Time Compute Daraus folgt keine allgemeine Regel, nach der jede Verdopplung des Aufwands jede Aufgabe um denselben Betrag verbessert.
So kannst du dir das vorstellen
Für eine hypothetische Planungsaufgabe vergleichst du drei Varianten: einen einzelnen Vorschlag, mehrere Vorschläge mit automatischer Konfliktprüfung und zusätzlich überarbeitete Vorschläge. In allen Fällen gelten dieselben Vorgaben.
Du hältst fest, wie viele Pläne alle Bedingungen erfüllen und wie viel Verarbeitung nötig war. Wenn die dritte Variante kaum mehr gültige Pläne liefert, wäre ihr zusätzlicher Aufwand für diesen Test möglicherweise schlecht eingesetzt.
Das Beispiel enthält bewusst keine behaupteten Messergebnisse. Eine echte Bewertung müsste auch Fälle berücksichtigen, die nicht bereits zur Abstimmung des Verfahrens verwendet wurden.
Schwierigkeit und Prüfer setzen Grenzen
Snell und Kollegen zeigen für ihre untersuchten Mathematikaufgaben, dass günstige Strategien von der Schwierigkeit relativ zum verwendeten Modell abhängen. Snell et al.: Test-Time Compute Bei besonders schwierigen Problemen bleiben die Gewinne begrenzt; auch Bewertungsmodelle können durch die Suche ungünstig ausgenutzt werden. Snell et al.: Test-Time Compute
Die Studie untersucht einen konkreten Modell- und Aufgabenaufbau, kein universelles Gesetz für sämtliche Anwendungen. Snell et al.: Test-Time Compute Zusätzliche Trainingsressourcen und zusätzliche Inferenzressourcen sind deshalb nicht pauschal austauschbar. Snell et al.: Test-Time Compute
Verwandte Begriffe
Test-Time Compute, Best-of-N, Tree of Thoughts, Reasoning Effort, Verifier.