Training, Daten und Modellanpassung
Mid-training
Heißt auch Midtraining.
Zwischenphase zur gezielten Ergänzung von Fähigkeiten oder Kontextlänge.
Mid-training bezeichnet hier eine gezielte Zwischenphase nach dem breiten Vortraining und vor der abschließenden Anpassung zum Assistenten. (Allen AI: OLMo 3) Im OLMo-3-Trainingsablauf wird dafür ein stärker auf anspruchsvolle Aufgaben ausgerichteter Datenmix verwendet, unter anderem für Mathematik, Code und Leseverständnis. (Allen AI: OLMo 3)
So kannst du dir das vorstellen
Stell dir die Vorbereitung auf eine neue Tätigkeit in drei Etappen vor: zunächst breite Grundlagen, danach vertiefende Übungen in wichtigen Fachgebieten und schließlich die konkreten Arbeitsregeln des Einsatzortes.
Mid-training wäre in diesem Bild die mittlere Etappe. Die Analogie hilft bei der zeitlichen Einordnung, sollte aber nicht als feste Vorschrift für jeden Modellentwickler gelesen werden. Für dieses Glossar dient OLMo 3 als konkretes Beispiel, nicht als universell verbindliche Definition.
Der Datenmix wird gezielter
Bei OLMo 3 enthält die Zwischenphase stärker ausgewählte Daten, die anspruchsvollere Fähigkeiten fördern sollen, einschließlich Material zu Anweisungen und nachvollziehbaren Lösungswegen. (Allen AI: OLMo 3) Das Modell wird also weitertrainiert; es erhält nicht bloß eine zusätzliche Systemanweisung für die spätere Nutzung. (Allen AI: OLMo 3)
In diesem dokumentierten Ablauf ist die Erweiterung auf lange Kontexte eine gesonderte anschließende Phase. (Allen AI: OLMo 3) Setze „Mid-training“ deshalb nicht pauschal mit „Kontextfenster vergrößern“ gleich.
Bei Modellbeschreibungen genauer nachfragen
Für die Bewertung eines solchen Schritts empfehle ich drei konkrete Fragen: Welche Daten unterscheiden sich vom Vortraining? Welches Trainingsziel wird verwendet? Welche Fähigkeiten wurden vor und nach der Phase geprüft?
Die Position im Ablauf allein sagt noch nicht, ob das Ergebnis für deinen Anwendungsfall besser passt. Vergleiche daher die tatsächlich angebotenen Checkpoints und die zugehörigen Testergebnisse, statt aus dem Etikett eine bestimmte Qualität oder zusätzliche Wissensabdeckung abzuleiten.
Verwandte Begriffe
Die zeitliche und methodische Einordnung gelingt über Pretraining, Continued Pretraining, Post-training, Checkpoint und Context Window.