Reasoning und Test-Time Compute
Self-Consistency
Mehrere Lösungswege erzeugen und anhand ihrer Übereinstimmung auswählen.
Self-Consistency ist ein Verfahren, bei dem mehrere unterschiedliche Lösungswege erzeugt und ihre Endantworten zusammengeführt werden. Wang et al.: Self-Consistency Statt nur einen einzelnen Weg zu übernehmen, wird bei der üblichen Abstimmungsvariante die am häufigsten auftretende Endantwort gewählt. Yao et al.: Tree of Thoughts
Übereinstimmung am Ende suchen
Die ursprüngliche Methode ersetzt eine einzelne, schrittweise bevorzugte Ausgabe durch mehrere variierte Reasoning-Verläufe. Wang et al.: Self-Consistency Dahinter steht die Idee, dass unterschiedliche Wege bei einer eindeutig lösbaren Aufgabe zum gleichen richtigen Ergebnis führen können. Wang et al.: Self-Consistency
Die Übereinstimmung betrifft die abschließende Antwort, nicht einen wortgleichen Verlauf der Erläuterungen. Yao et al.: Tree of Thoughts Zwei unterschiedlich formulierte oder aufgebaute Lösungswege können deshalb dieselbe Antwort unterstützen.
Im Unterschied zu Best-of-N benötigt die einfache Abstimmung keinen separaten Qualitätswert für jeden einzelnen Kandidaten. Yao et al.: Tree of Thoughts Snell et al.: Test-Time Compute Sie zählt, welche Endantwort am häufigsten entsteht, während Best-of-N anhand einer Bewertung auswählt. Yao et al.: Tree of Thoughts Snell et al.: Test-Time Compute
So kannst du dir das vorstellen
Angenommen, fünf hypothetische Lösungsversuche für eine Mengenaufgabe liefern die Endwerte zwölf, zwölf, elf, zwölf und vierzehn. Die einfache Abstimmung würde zwölf auswählen.
Die Erklärungen der drei passenden Versuche müssten dafür nicht identisch sein. Entscheidend wäre, dass ihre extrahierten Endantworten übereinstimmen.
Das ist ein erfundenes Zahlenbeispiel zur Auswahlregel. Es belegt weder, dass zwölf sachlich richtig ist, noch dass ein reales Modell diese Verteilung erzeugen würde.
Mehrheit ist kein Beweis
Die Abstimmung ist besonders direkt anwendbar, wenn mögliche Endantworten klar vergleichbar sind, etwa bei Auswahlfragen. Yao et al.: Tree of Thoughts Für frei formulierte Berichte oder lange offene Antworten ist eine reine Häufigkeitszählung weniger naheliegend. Yao et al.: Tree of Thoughts
Auch eine häufig wiederholte Antwort sollte nicht mit einem unabhängigen Faktennachweis verwechselt werden. Die Kandidaten können denselben falschen Ausgangspunkt teilen; in einer eigenen Anwendung würde ich deshalb überprüfbare Ergebnisse zusätzlich an Daten oder Regeln abgleichen.
Self-Consistency untersucht mehrere vollständige Wege, führt aber nicht schon innerhalb jedes Weges eine verzweigte Suche mit Rücksprüngen durch. Yao et al.: Tree of Thoughts Dafür steht beispielsweise Tree of Thoughts. Yao et al.: Tree of Thoughts
Verwandte Begriffe
Chain of Thought, Best-of-N, Tree of Thoughts, Test-Time Compute, Verifier.