Training, Daten und Modellanpassung
Teacher Model / Student Model
Heißt auch Teacher Model, Student Model, Lehrermodell oder Schülermodell.
Lehrendes und lernendes Modell bei der Distillation.
Teacher Model und Student Model bezeichnen die beiden Rollen bei der Distillation: Das Lehrermodell liefert ein Lernsignal, das Schülermodell wird darauf trainiert. (Hinton et al.) Der Teacher kann auch ein Ensemble sein, also eine Kombination mehrerer Modelle. (Hinton et al.)
So kannst du dir das vorstellen
Stell dir vor, ein aufwendiges Prüfsystem bewertet eingehende Anfragen. Ein zweites, für den Alltag vorgesehenes System soll anhand dieser Bewertungen lernen, ähnliche Zuordnungen vorzunehmen.
„Teacher“ bezeichnet in diesem Beispiel die Herkunft der Vorlagen, „Student“ den Empfänger des Trainings. Keiner der beiden Begriffe bedeutet, dass ein Modell pädagogisch handelt, die Aufgabe bewusst erklärt oder die Richtigkeit der Bewertung garantiert.
Rollen sind keine festen Größenklassen
Ein häufiges Ziel ist die Übertragung aus einem großen oder aufwendigen System in ein kleineres, leichter bereitstellbares Modell. (Hinton et al.) Die klassische Arbeit untersucht aber auch die Übertragung eines Ensembles in ein einzelnes Modell mit derselben Architektur und Größe wie seine einzelnen Mitglieder. (Hinton et al.)
Die Bezeichnungen sollten deshalb nicht als feste Parametergrenzen gelesen werden. Entscheidend ist, wer die Trainingsziele liefert und welches Modell daran angepasst wird.
Was der Student tatsächlich erhält
Beim klassischen Verfahren liefert der Teacher Wahrscheinlichkeitsverteilungen über mögliche Ausgaben; diese können mehr Information enthalten als lediglich eine ausgewählte Zielklasse. (Hinton et al.) Der Student lernt mit eigenen Parametern, solche Ausgaben nachzubilden, statt einfach die Gewichtsdatei des Teachers zu übernehmen. (Hinton et al.)
Für die Planung solltest du deshalb festlegen, welche Eingaben der Teacher bewerten soll und wie seine Ausgaben geprüft werden. Teste den Student anschließend unabhängig: Eine hohe Übereinstimmung mit dem Teacher ist nützlich, ersetzt aber keine fachliche Bewertung, wenn auch die Vorlagen Fehler enthalten könnten.
Verwandte Begriffe
Die Rollen gehören zu Distillation und berühren Synthetic Data, Loss, Model Parameters und Generalization.