Model Card

Eine Model Card ist ein Beipackzettel für ein Modell. Der Vorschlag von 2018 sah eine knappe, standardisierte Dokumentation vor: wofür das Modell gedacht ist, wofür ausdrücklich nicht, worauf es trainiert wurde, wie es bewertet wurde und wo seine Grenzen liegen. Mitchell et al.

Der wichtigste Teil ist der über die Grenzen

Ursprünglich lag der Schwerpunkt auf aufgeschlüsselter Bewertung: nicht nur ein Gesamtwert, sondern Werte für verschiedene Gruppen und Bedingungen, damit sichtbar wird, wo ein Modell schlechter arbeitet. Genau dieser Teil fehlt in der Praxis am häufigsten.

Heute ist die Model Card die Datei, die einem Modell in Sammlungen beiliegt, und ihr Inhalt schwankt stark. Hugging Face Manche enthalten Lizenz, Trainingsdaten und Bewertungen, andere nur einen Beispielaufruf.

So kannst du dir das vorstellen

Ein Datenblatt für ein Bauteil, auf dem Betriebsbereich, Toleranzen und Grenzwerte stehen. Fehlen diese Angaben, kann man das Teil verbauen, weiß aber nicht, wann es ausfällt. Das Bild erklärt den Zweck der Dokumentation, es bewertet keine konkrete Model Card.

Was es in der Praxis konkret bedeutet

Lies vor dem Einsatz eines Modells vier Punkte in der Karte: Lizenz und Auflagen, angegebener Einsatzbereich, Angaben zu Trainingsdaten und Sprachen, sowie genannte Grenzen. Fehlt alles davon, ist das eine Information über das Modell, nämlich dass die Herkunft unklar ist. Für eigene angepasste Modelle lohnt eine eigene Karte, schon damit in zwei Jahren nachvollziehbar ist, worauf trainiert wurde.

Wo es verwechselt wird

Eine Model Card ist keine Prüfbescheinigung. Die Angaben stammen vom Anbieter und sind selten unabhängig geprüft. Und sie ersetzt keine eigene Bewertung an deinen Aufgaben.

Verwandte Begriffe

Commercial Model License, Open-Weight Model, Training, Evaluation, AI Governance, Provenance.