Training, Daten und Modellanpassung
Distillation
Heißt auch Knowledge Distillation oder Wissensdistillation.
Übertragung von Verhalten eines Lehrermodells auf ein Schülermodell.
Distillation überträgt Modellverhalten, indem ein Schülermodell mit Ausgaben eines Lehrermodells trainiert wird. (Hinton et al.) Ein typisches Ziel ist ein leichter einsetzbares Modell, das wichtige Eigenschaften eines größeren Modells oder eines Ensembles übernimmt. (Hinton et al.)
So kannst du dir das vorstellen
Angenommen, ein aufwendiges System kann Produktanfragen gut verschiedenen Kategorien zuordnen. Du lässt es viele Beispiele bewerten und nutzt diese Bewertungen, um ein handlicheres Modell für genau diesen Einsatz zu trainieren.
Dabei würdest du nicht dessen interne Gewichte einfach verkleinern. Das neue Modell übt anhand des vorgegebenen Verhaltens. Die Analogie ähnelt einer Sammlung von Musterentscheidungen, nicht dem Kopieren eines menschlichen Gedächtnisses.
Mehr Information als nur die Siegerklasse
Die klassische Arbeit verwendet sogenannte Soft Targets: Wahrscheinlichkeitsverteilungen des Lehrermodells über mögliche Klassen. (Hinton et al.) Auch die relativen Wahrscheinlichkeiten der nicht gewählten Klassen können Hinweise darauf enthalten, welche Fälle das Lehrermodell ähnlich findet. (Hinton et al.)
Eine erhöhte Temperatur macht diese Verteilung weicher, damit solche Unterschiede stärker in das Lernsignal eingehen können. (Hinton et al.) Diese Temperatur betrifft die Verteilungen im Distillationsverfahren und sollte nicht ungeprüft mit einer späteren Einstellung für abwechslungsreichere Chatantworten gleichgesetzt werden.
Übertragung durch Training, nicht durch Zusammenführen
Das Schülermodell besitzt eigene Parameter und wird darauf optimiert, die vorgegebenen Ausgaben beziehungsweise Verteilungen nachzubilden. (Hinton et al.) Wenn korrekte Labels vorhanden sind, kann das Trainingsziel zusätzlich die Übereinstimmung mit diesen echten Zielwerten berücksichtigen. (Hinton et al.)
Prüfe bei einem distillierten Modell deshalb die tatsächliche Aufgabenqualität, Laufzeit und Fehlerverteilung. Die Bezeichnung allein sagt weder, welche Fähigkeiten übertragen wurden, noch ob seltene, für deinen Betrieb wichtige Fälle ausreichend vertreten waren.
Verwandte Begriffe
Eng verknüpft sind Teacher Model, Student Model, Synthetic Data, Cross-Entropy und Model Merging.