Instruction Dataset

Ein Instruction Dataset ist eine Sammlung von Trainingsbeispielen, die Anweisungen mit passenden Zielantworten verbinden. (Hugging Face LLM Course) Je nach Aufgabe kommen Eingabetext, zusätzlicher Kontext oder ein mehrteiliger Gesprächsverlauf hinzu. (Hugging Face LLM Course)

So kannst du dir das vorstellen

Ein vereinfachtes Beispiel für deinen Betrieb könnte so aussehen:

• Anweisung: „Fasse die Anfrage in einem Satz zusammen.“
• Eingabe: „Die Sendung sollte gestern kommen. In der Verfolgung steht seit Montag nur angekündigt.“
• Zielantwort: „Der Kunde fragt nach einer verspäteten Sendung mit unverändertem Versandstatus.“

Das ist ein konstruiertes Muster, kein echter Kundendatensatz. Für das Training würdest du viele sorgfältig ausgewählte Varianten benötigen, nicht nur Umformulierungen derselben Nachricht.

Inhalt und Format gehören zusammen

Bei dialogbasierten Modellen müssen Rollen und Nachrichten in das vorgesehene Chatformat überführt werden; dafür dienen modellabhängige Chat Templates. (Hugging Face LLM Course) Der Datensatz sollte außerdem vielfältige und hochwertige Beispiele enthalten, damit die Anpassung nicht bloß wiederkehrende Formulierungen reproduziert. (Hugging Face LLM Course)

Lege deshalb ausdrücklich fest, wie Zielantworten mit fehlenden Angaben, widersprüchlichen Eingaben und unerfüllbaren Aufträgen umgehen sollen. Eine Sammlung einzeln plausibler Antworten kann für dein Vorhaben trotzdem ungeeignet sein, wenn die Regeln zwischen den Beispielen wechseln.

Herkunft und Prüfung mitführen

Anweisungsdaten können auch mithilfe eines Modells erzeugt und anschließend gefiltert werden, wie das Self-Instruct-Verfahren zeigt. (Hugging Face: Self-Instruct) Ich würde menschlich geprüfte, automatisch erzeugte und überarbeitete Beispiele daher nachvollziehbar kennzeichnen.

Trenne Trainingsmaterial von den Fällen für die spätere Qualitätsprüfung. Halte zusätzlich fest, welche Version des Datensatzes zu welchem Modellcheckpoint gehört. So lässt sich bei einem unerwarteten Verhalten gezielter prüfen, ob die Ursache in den Vorlagen, deren Aufbereitung oder der eigentlichen Anpassung liegt.

Verwandte Begriffe

Eng verbunden sind Instruction Tuning, Supervised Fine-Tuning, Synthetic Data, Chat Template und Training Set.