Training, Daten und Modellanpassung
Pretraining
Heißt auch Vortraining.
Grundlegende Trainingsphase auf einem umfangreichen Datenbestand.
Pretraining bezeichnet die grundlegende Trainingsphase, in der ein Modell anhand eines umfangreichen Datenbestands wiederverwendbare Muster lernt. (Google ML Glossary) Das so entstandene Modell kann anschließend für bestimmte Aufgaben weiter angepasst werden. (Google ML Glossary)
So kannst du dir das vorstellen
Stell dir ein Unternehmen vor, das eine Person mit breiter sprachlicher und fachlicher Vorbildung einstellt. Diese Grundlage erspart es, für jede neue Tätigkeit ganz von vorn zu beginnen; die konkreten Abläufe des Unternehmens müssen trotzdem noch vermittelt werden.
Beim Modell ist das nur eine Analogie: Das Vortraining ist ein mathematischer Anpassungsprozess, keine Schulzeit mit Verständnis, Absichten und eigenen Erfahrungen. Eine breite Grundlage bedeutet auch nicht, dass jede darin vorkommende Aussage zuverlässig abrufbar wäre.
Welche Aufgaben das Modell dabei bearbeitet
Bei einem kausalen Sprachmodell besteht eine typische Trainingsaufgabe darin, anhand vorheriger Tokens das folgende Token vorherzusagen; Tokens sind die Verarbeitungseinheiten des Textes. (Hugging Face Glossary) Andere Modelle werden beispielsweise darauf trainiert, verdeckte Textbestandteile zu ergänzen. (Hugging Face Glossary)
Die benötigten Zielwerte lassen sich bei solchen selbstüberwachten Verfahren aus den Daten selbst ableiten, statt jeden einzelnen Text manuell mit einer Antwort zu versehen. (Hugging Face Glossary) „Ohne manuelle Antwortlabels“ bedeutet dabei nicht, dass überhaupt kein Trainingsziel vorhanden wäre.
Grundlage und Assistent unterscheiden
Ein vortrainiertes Basismodell und ein für Anweisungen nachtrainierter Assistent sind unterschiedliche Entwicklungsstände; Instruction Tuning dient ausdrücklich der besseren Befolgung natürlichsprachlicher Aufgaben. (Google ML Glossary) Im dokumentierten OLMo-3-Ablauf folgen auf das breite Vortraining weitere spezialisierende und nachgelagerte Trainingsphasen. (Allen AI: OLMo 3)
Für die Modellauswahl solltest du daher nicht nur den Familiennamen prüfen. Lass dir sagen, ob du eine Basisversion oder eine bereits angepasste Variante erhältst, und teste genau diese Version mit deinen vorgesehenen Aufgaben.
Verwandte Begriffe
Weiterführend sind Self-Supervised Learning, Foundation Model, Post-training, Continued Pretraining und Instruction Tuning.