Generalization

Generalization oder Generalisierung ist die Fähigkeit eines Modells, auf neuen, zuvor nicht gesehenen Daten gute Vorhersagen zu machen. (Google ML Glossary) Entscheidend ist, dass es über die konkreten Trainingsbeispiele hinaus brauchbare Muster nutzt. (Google ML Glossary)

So kannst du dir das vorstellen

Du trainierst einen Assistenten mit verschiedenen Formulierungen für verspätete Lieferungen. Später schreibt jemand: „Seit drei Tagen bewegt sich in der Sendungsverfolgung nichts.“

Wenn das System auch diese neue Nachricht passend einordnet, wäre das in unserem Beispiel ein erwünschter Transfer. Es soll nicht nur eine gespeicherte Musterformulierung wiedererkennen. Ein einzelner gelungener Fall wäre allerdings noch kein umfassender Nachweis.

Neue Daten müssen wirklich getrennt sein

Zurückgehaltene Validierungs- und Testdaten helfen, die Leistung außerhalb des Trainingsbestands zu beurteilen. (Google ML Glossary) Die Qualität auf diesen Daten ist aussagekräftiger für ungesehene Beispiele als der Trainingsverlust allein. (Google ML Glossary)

Für deine Prüfung würde ich deshalb nicht nur Dateinamen trennen. Kontrolliere auch Dubletten, Varianten derselben Vorlage und zusammengehörige Gesprächsteile, damit „neu“ nicht lediglich eine andere Zeile mit nahezu identischem Inhalt bedeutet.

Welche Art von Neuheit prüfst du?

Lege fest, ob dein Test nur neue Formulierungen bekannter Anliegen oder auch andere Produktgruppen, Sprachen und Zeiträume abdecken soll. Diese Anforderungen würde ich getrennt ausweisen, statt einen einzigen Gesamtscore als Beleg für jede denkbare Übertragung zu verwenden.

Regularisierung kann die Generalisierung fördern, indem sie die zu genaue Anpassung an Besonderheiten der Trainingsdaten begrenzt. (Google ML Glossary) Trotzdem bleibt eine Prüfung anhand deiner vorgesehenen Nutzung erforderlich.

Für eine verständliche Ergebnisdarstellung sind konkrete Fallgruppen hilfreich: Wo funktioniert das Modell, wo wird es unsicher und welche Fehler wären im Betrieb besonders teuer? So erhält die abstrakte Fähigkeit einen nachvollziehbaren Bezug zu deinen Aufgaben.

Verwandte Begriffe

Die wichtigsten Nachbarn sind Overfitting, Underfitting, Training Set, Test Set und Regularization.