Training, Daten und Modellanpassung
Domain-Adaptive Pretraining
Heißt auch DAPT oder Domänenadaptives Vortraining.
Fortgesetztes Vortraining mit domänenspezifischen Daten.
Domain-Adaptive Pretraining, kurz DAPT, setzt das Vortraining eines bestehenden Sprachmodells auf Daten aus einem bestimmten Themen- oder Anwendungsgebiet fort. (Gururangan et al.) Die namensprägende Untersuchung betrachtet unter anderem biomedizinische Texte, Informatik, Nachrichten und Rezensionen. (Gururangan et al.)
So kannst du dir das vorstellen
Stell dir vor, dein Unternehmen arbeitet mit Wartungsberichten für industrielle Anlagen. Darin tauchen Abkürzungen, Fehlerbeschreibungen und Formulierungen auf, die in allgemeinen Alltagstexten wenig Raum einnehmen.
Bei DAPT würdest du geeignete Texte aus diesem Umfeld für ein zusätzliches Vortraining auswählen. Die Idee ist eine fachbezogene Vertiefung, nicht das Auswendiglernen einer Liste von hundert gewünschten Antworten. Ein anschließendes Training könnte separat vermitteln, wie ein bestimmter Bericht strukturiert werden soll.
Domäne und Einzelaufgabe unterscheiden
Die Originalarbeit trennt domänenadaptives Vortraining von Task-Adaptive Pretraining, das näher am unbeschrifteten Datenbestand einer konkreten Zielaufgabe arbeitet. (Gururangan et al.) In den untersuchten Aufgaben konnte die aufgabennähere Fortsetzung auch nach DAPT zusätzliche Verbesserungen liefern. (Gururangan et al.)
Das ist ein Befund für die untersuchten Modelle und Aufgaben, kein pauschaler Nachweis, dass jede weitere Spezialisierung besser wird. Lege deshalb vorher fest, woran du den Nutzen in deinem Projekt erkennen möchtest.
Was du für einen Versuch klären solltest
Prüfe, ob der Datenbestand die tatsächliche Fachsprache und die relevanten Aufgaben abdeckt. Ich würde außerdem fehlerhafte Versionen, doppelte Dokumente und ungeklärte Nutzungsrechte vor dem Training gesondert behandeln.
Behalte einen unabhängigen Prüfbestand zurück und vergleiche mit einer unveränderten Basisversion. Allgemeine Fähigkeiten solltest du ebenfalls kontrollieren, weil neues Training ältere Fähigkeiten beeinträchtigen kann. (Kirkpatrick et al.) Ob danach zusätzlich ein Antwortformat oder ein Arbeitsablauf trainiert werden muss, ist eine andere Frage als die fachliche Anpassung des Vortrainings.
Verwandte Begriffe
Die Zusammenhänge zeigen Continued Pretraining, Pretraining, Instruction Tuning, Training Set und Catastrophic Forgetting.