Evaluation, Messgrößen und Benchmark-Fallen
Perplexity
Heißt auch PPL.
Maß für die Vorhersageunsicherheit eines Sprachmodells auf Daten.
Perplexity misst, wie überrascht ein Sprachmodell von einem Text ist. Formal ist sie die potenzierte mittlere negative Log-Wahrscheinlichkeit der Tokens: Je höher die Wahrscheinlichkeit, die das Modell den tatsächlich folgenden Tokens zuweist, desto niedriger der Wert. Hugging Face
Ein Maß für das Modell, nicht für die Aufgabe
Anschaulich lässt sich Perplexity als effektive Zahl der Möglichkeiten lesen, zwischen denen das Modell im Mittel schwankt. Ein Wert von zehn bedeutet ungefähr, dass es bei jedem Token zwischen zehn gleich wahrscheinlichen Fortsetzungen steht.
Der Wert hängt am Textbestand und an der Zerlegung in Tokens. Deshalb sind Perplexitätswerte nur innerhalb desselben Datensatzes und desselben Tokenizers vergleichbar. In breiten Bewertungsrahmen steht sie als eine Kennzahl neben anderen, nicht als Rangliste. Liang et al.
So kannst du dir das vorstellen
Perplexity ist wie das Lückendiktat. Wer den Text gut kennt, füllt die Lücken sicher, wer ihn nicht kennt, zögert zwischen vielen Möglichkeiten. Sicheres Ausfüllen heißt aber nicht, dass jemand den Inhalt versteht oder ihn gut erklären kann. Das Bild erklärt, was gemessen wird, nicht was es wert ist.
Was es in der Praxis bedeutet
Für die Auswahl eines Modells für eine Anwendung ist Perplexity kaum brauchbar. Sie sagt nichts darüber, ob Anweisungen befolgt werden, ob Antworten richtig sind oder ob Werkzeuge korrekt aufgerufen werden.
Nützlich bleibt sie beim Training und bei der Datenarbeit: als Verlaufskurve während des Trainings, beim Vergleich von Varianten desselben Modells und als Hinweis darauf, wie ungewöhnlich ein Textbestand für ein Modell ist, etwa bei Fachsprache oder bei einer Sprache, die im Training wenig vorkam.
Wo es verwechselt wird
Niedrige Perplexity heißt nicht hohe Qualität der Antworten: Ein Modell kann flüssig vorhersagen und trotzdem Falsches behaupten. Und Werte verschiedener Modelle mit verschiedenen Tokenizern lassen sich nicht direkt vergleichen.
Verwandte Begriffe
Tokenizer, Evaluation, Benchmark, Automatic Evaluation, Tokens.