Training, Daten und Modellanpassung
Scaling Laws
Heißt auch Neural Scaling Laws oder Skalierungsgesetze.
Empirische Beziehungen zwischen Modellgröße, Daten, Rechenaufwand und Verlust.
Scaling Laws beschreiben empirisch beobachtete Beziehungen zwischen Modellgröße, Datenmenge, Rechenaufwand und Modellverlust. (Kaplan et al.) Bei neuronalen Sprachmodellen wurden solche Beziehungen unter anderem als Potenzgesetze über große untersuchte Größenbereiche beschrieben. (Kaplan et al.)
So kannst du dir das vorstellen
Stell dir vor, du führst mehrere kleine Produktionsversuche durch und misst, wie sich zusätzlicher Material- und Maschineneinsatz auf eine Zielgröße auswirkt. Aus den Ergebnissen leitest du eine Kurve für die Planung größerer Versuche ab.
Eine solche Kurve kann Entscheidungen erleichtern. Sie ist aber keine Zusage, dass jede beliebige Vergrößerung unter anderen Bedingungen dieselben Ergebnisse bringt. Genau diese Unterscheidung zwischen beobachtetem Muster und unbegrenztem Naturgesetz ist hier wichtig.
Mehr als die Zahl der Parameter
Die ursprüngliche Skalierungsarbeit betrachtet gemeinsam die Abhängigkeit von Modellgröße, Trainingsdaten und Rechenbudget. (Kaplan et al.) Die spätere Chinchilla-Untersuchung kommt für ihre Versuchsbedingungen zu einer anderen Empfehlung für die gemeinsame Skalierung von Modellgröße und Trainingsmenge. (Hoffmann et al.)
Lies eine Skalierungsregel deshalb zusammen mit Messgröße, Trainingsverfahren und untersuchtem Bereich. Aus „mehr Parameter“ allein folgt noch keine vollständige Beschreibung des Entwicklungsplans.
Planungshilfe statt Geschäftsversprechen
Die Arbeiten modellieren insbesondere den Sprachmodellverlust, nicht unmittelbar die Fehlerquote eines beliebigen betrieblichen Prozesses. (Kaplan et al., Hoffmann et al.) Für deinen Anwendungsfall würde ich eine Verbesserung dieser Zielgröße deshalb durch eigene Aufgabenprüfungen ergänzen.
Auch die Kostenperspektive muss passen: Werden viele spätere Modellaufrufe berücksichtigt, kann eine andere Größen- und Trainingskombination wirtschaftlich günstiger sein als ein allein am Trainingsbudget ausgerichtetes Optimum. (Sardana et al.) Eine belastbare Planung nennt daher sowohl die angenommene Nutzungsmenge als auch die Grenzen der verwendeten Kurve.
Verwandte Begriffe
Weitere Einordnung liefern Chinchilla Scaling, Compute-Optimal Training, Overtraining, Loss und Model Parameters.