Fine-Tuning

Fine-Tuning ist das Weitertrainieren eines bereits vorhandenen Modells für bestimmte Aufgaben oder Anforderungen. (Google ML Glossary) Dabei können alle Modellparameter, nur ein Teil davon oder ergänzte trainierbare Komponenten angepasst werden. (Google ML Glossary)

So kannst du dir das vorstellen

Angenommen, du möchtest aus Kundenanfragen immer dieselben Angaben extrahieren: Bestellnummer, Anliegen und Dringlichkeit. Du stellst Beispiele zusammen, in denen zu jeder Anfrage die gewünschte strukturierte Ausgabe vorliegt.

Anstatt nur eine ausführlichere Anweisung zu formulieren, würdest du mit solchen Beispielen eine angepasste Modellversion trainieren. Das Ziel könnte sein, auch neue Anfragen im vorgesehenen Schema zu bearbeiten. Ob das tatsächlich besser funktioniert als ein guter Prompt, müsstest du mit einem separaten Prüfbestand vergleichen.

Verfahren und Lernziel sind verschiedene Fragen

Supervised Fine-Tuning nutzt Beispiele gewünschter Eingaben und Ausgaben. (Hugging Face LLM Course) LoRA beschreibt dagegen eine parameter-effiziente Art der Gewichtsanpassung und kann dabei als technische Umsetzung dienen. (Hugging Face LoRA)

„SFT oder LoRA?“ ist deshalb keine saubere Entweder-oder-Frage. Kläre getrennt, mit welchem Lernsignal trainiert wird und welche Parameter dabei verändert werden.

Was Fine-Tuning nicht automatisch leistet

Ein niedriger Trainingsverlust kann mit schlechteren Ergebnissen auf neuen Eingaben einhergehen, wenn das Modell sich zu stark an die Trainingsbeispiele anpasst. (Hugging Face LLM Course) Außerdem kann fortgesetztes Training frühere Fähigkeiten beeinträchtigen. (Kirkpatrick et al.)

Für dein Projekt würde ich gewünschtes Verhalten, fachliche Richtigkeit und Erhalt vorhandener Fähigkeiten separat prüfen. Behandle Fine-Tuning außerdem nicht als Ersatz für die Pflege einer aktuellen Informationsquelle.

Eine präzise Übergabe sollte das Basismodell, die Trainingsdaten, das Verfahren und die entstandenen Dateien nennen. So bleibt nachvollziehbar, ob du ein vollständiges angepasstes Modell oder Zusatzgewichte für eine bestimmte Basis erhältst.

Verwandte Begriffe

Wichtige Nachbarbegriffe sind Transfer Learning, Supervised Fine-Tuning, Parameter-Efficient Fine-Tuning, Low-Rank Adaptation und Overfitting.