Adapter

Ein Adapter ist im Kontext parameter-effizienter Modellanpassung ein vergleichsweise kleiner Satz trainierbarer Zusatzgewichte für ein vorhandenes Basismodell. (Hugging Face PEFT, LoRA-Dokumentation) Die Adaptergewichte speichern die Anpassung, nicht automatisch sämtliche Gewichte des zugrunde liegenden Modells. (Hugging Face PEFT, LoRA-Dokumentation)

So kannst du dir das vorstellen

Stell dir eine Kamera mit wechselbaren Spezialaufsätzen vor. Ein Aufsatz kann für eine bestimmte Aufgabe hilfreich sein, liefert ohne die passende Kamera aber kein vollständiges System.

Ähnlich könntest du für ein gemeinsames Sprachmodell verschiedene Anpassungen für Berichtserstellung und Anfrageklassifikation verwalten. Das Bild erklärt die Abhängigkeit von einer Basis; es bedeutet nicht, dass beliebige Aufsätze zu jeder Kamera beziehungsweise jedem Modell passen.

Zusatzgewichte und Basismodell

Die PEFT-Dokumentation beschreibt das Laden, Aktivieren und Kombinieren von LoRA-Adaptern innerhalb eines entsprechenden Basismodells. (Hugging Face LoRA) LoRA stellt dabei eine bestimmte technische Form des Adapters dar, bei der niedrig-rangige Matrizen die Gewichtsanpassung erzeugen. (Hugging Face LoRA)

Für unterstützte Varianten kann die Anpassung in die Basisgewichte eingerechnet werden; danach lässt sich ein zusammengeführtes Modell statt eines separat geladenen Adapters bereitstellen. (Hugging Face LoRA) Eine kleine Adapterdatei und eine vollständige zusammengeführte Modelldatei sind daher unterschiedliche Liefergegenstände.

Was zu einer brauchbaren Übergabe gehört

Ich würde zu jedem Adapter mindestens das genaue Basismodell, dessen Version, die Adapterkonfiguration und die verwendete Softwareumgebung dokumentieren. Ergänze die vorgesehenen Aufgaben und einen kleinen Prüfbestand, mit dem sich das erwartete Verhalten nachvollziehen lässt.

Prüfe außerdem ausdrücklich die Kombination, die später betrieben werden soll. Der Name einer Modellfamilie allein ist für eine technische Übergabe zu ungenau, wenn verschiedene Checkpoints oder angepasste Varianten im Umlauf sind. Und bewerte die Gesamtbereitstellung, nicht nur die handliche Größe der Zusatzdatei.

Verwandte Begriffe

Hilfreich sind Parameter-Efficient Fine-Tuning, Low-Rank Adaptation, Adapter Merging, Checkpoint und Model Parameters.