Transfer Learning

Transfer Learning nutzt ein bereits trainiertes Modell oder dessen gelernte Darstellungen als Ausgangspunkt für eine andere Aufgabe. (Google ML Glossary) Statt sämtliche Grundlagen neu zu lernen, wird vorhandenes Lernen für den neuen Einsatz weiterverwendet. (Google ML Glossary)

So kannst du dir das vorstellen

Angenommen, du möchtest kurze Produktbeschreibungen nach Themen sortieren. Dafür könntest du auf einem Modell aufbauen, das bereits anhand vieler Texte trainiert wurde, und anschließend die Zuordnung zu deinen Kategorien anpassen.

Das ähnelt einem Werkzeuggrundkörper, für den du einen geeigneten Aufsatz herstellst. Manchmal bleibt der Grundkörper unverändert; manchmal wird auch er angepasst. Die Analogie soll verdeutlichen, dass „vorhanden nutzen“ nicht immer „alles weitertrainieren“ bedeutet.

Mehr als ein einziges Verfahren

Fine-Tuning ist ein wichtiges Muster des Transferlernens: Ein vortrainiertes Modell wird für eine neue Aufgabe weiter angepasst. (Google ML Glossary) Dabei können vorhandene Teile eingefroren bleiben, während nur bestimmte Gewichte oder neue Komponenten trainiert werden. (Google ML Glossary)

Die Wiederverwendung vortrainierter Modelle ermöglicht es, mit weniger aufgabenspezifischem Trainingsaufwand zu arbeiten, als beim vollständigen Start ohne diese Grundlage nötig wäre. (Hugging Face Glossary) Daraus solltest du jedoch kein festes Einsparverhältnis für ein konkretes Projekt ableiten.

Übertragbarkeit muss geprüft werden

Für die Auswahl einer Basis würde ich zunächst die Zielaufgabe beschreiben: Welche Eingaben kommen vor, welche Ausgabe wird benötigt, und welche Fehler wären besonders problematisch? Prüfe dann, ob die gewählte Grundlage in einem kleinen, repräsentativen Versuch tatsächlich hilft.

Halte außerdem fest, welche Teile verändert werden dürfen und welche unverändert bleiben sollen. Eine Vergleichsmessung vor und nach der Anpassung macht sichtbarer, ob ein Vorteil aus der übertragenen Grundlage entsteht oder ob die Lösung lediglich die neuen Trainingsbeispiele gut wiedergibt.

Verwandte Begriffe

Eng verbunden sind Pretraining, Fine-Tuning, Backbone, Model Head und Parameter-Efficient Fine-Tuning.