Test-Time Compute

Test-Time Compute ist der Rechenaufwand, der bei der Bearbeitung einer konkreten Eingabe entsteht, statt beim vorherigen Training des Modells. Snell et al.: Test-Time Compute Im Zusammenhang mit Reasoning ist häufig zusätzlicher Aufwand gemeint, etwa für längere Lösungswege, mehrere Antwortkandidaten oder deren Bewertung. Snell et al.: Test-Time Compute

Mehrere Arten zusätzlicher Arbeit

Ein System kann nacheinander an einer Lösung arbeiten und frühere Versuche überarbeiten. Snell et al.: Test-Time Compute Es kann auch mehrere Kandidaten unabhängig erzeugen und anschließend auswählen, welcher am besten erscheint. Snell et al.: Test-Time Compute

Zur gesamten Bearbeitung gehören dann nicht nur die erzeugten Antworten, sondern gegebenenfalls auch zusätzliche Bewertungs- und Suchschritte. Snell et al.: Test-Time Compute Ein Verifier, also eine Prüfinstanz, kann etwa Lösungsversuche oder einzelne Zwischenschritte beurteilen. Snell et al.: Test-Time Compute

Solche Verfahren werden bei der Anwendung eingesetzt; die dafür benötigten Fähigkeiten können zuvor eigens trainiert worden sein. Snell et al.: Test-Time Compute Die Arbeit von Snell und Kollegen verwendet beispielsweise speziell angepasste Modelle für Überarbeitung und Bewertung. Snell et al.: Test-Time Compute

So kannst du dir das vorstellen

Du lässt hypothetisch einen Belegungsplan für Schulungsräume erstellen. Eine sparsame Variante erzeugt einen Plan und gibt ihn sofort aus.

Eine aufwendigere Variante erzeugt mehrere Pläne und prüft jeden auf Raumkapazität, Überschneidungen und notwendige Ausstattung. Eine weitere Möglichkeit wäre, einen ersten Plan anhand festgestellter Konflikte mehrfach zu überarbeiten.

Alle Varianten bearbeiten dieselbe Anfrage. Der zusätzliche Aufwand entsteht hier durch weitere Erzeugungs- und Prüfschritte, nicht dadurch, dass für jede Anfrage ein neues Basismodell trainiert wird.

Aufwand ist eine Ressource, kein Ergebnis

Welche Verteilung des Rechenaufwands sinnvoll ist, hängt in der untersuchten Forschung von Aufgabe, Schwierigkeit und Modell ab. Snell et al.: Test-Time Compute Mehr Kandidaten und mehr Überarbeitung helfen nicht unter allen Bedingungen gleichermaßen. Snell et al.: Test-Time Compute

Test-Time Compute bezeichnet zunächst die eingesetzte Ressource; Test-Time Scaling untersucht, wie sich die Ergebnisqualität bei einer Veränderung dieser Ressource entwickelt. Snell et al.: Test-Time Compute Ein längerer Ablauf allein belegt daher noch keine Verbesserung.

Verwandte Begriffe

Test-Time Scaling, Reasoning Effort, Best-of-N, Self-Consistency, Verifier.