SOTA

SOTA steht für State of the Art und bezeichnet den besten bekannten Wert auf einer bestimmten Messung zu einem bestimmten Zeitpunkt. Die Angabe ist nur mit ihren drei Zusätzen sinnvoll: bei welcher Aufgabe, nach welcher Kennzahl und seit wann.

Ohne Bezug ist die Angabe leer

In Ankündigungen fehlen diese Zusätze oft. Dann bedeutet die Behauptung, dass ein Modell auf mindestens einer Messung vorn liegt, was bei genügend vielen Messungen fast immer zutrifft.

Dazu kommt, dass Ranglisten selbst verzerrt sein können, etwa durch nicht offengelegte Tests mehrerer Varianten und die Auswahl des besten Ergebnisses. Singh et al. Und ein Spitzenwert bei der Genauigkeit sagt nichts über Robustheit, Verzerrung oder Kosten, die in breiteren Bewertungen nebeneinanderstehen. Liang et al.

So kannst du dir das vorstellen

SOTA ist der Streckenrekord. Er gilt für diese Strecke, bei diesem Wetter, an diesem Tag. Wer ihn hält, ist nicht automatisch der bessere Läufer für einen Waldlauf. Das Bild erklärt die Bindung an die Messung, es wertet Rekorde nicht ab.

Was es in der Praxis bedeutet

Bei einer Kaufentscheidung ist die nützlichere Frage, ob ein Modell für deine Aufgabe reicht, nicht, ob es an der Spitze steht. Der Abstand an der Spitze ist oft klein und die Unterschiede bei Preis, Antwortzeit und Verfügbarkeit größer.

Nützlich ist außerdem, das Datum zu beachten. Angaben veralten in diesem Feld innerhalb von Monaten, und eine Aussage aus einem älteren Beitrag beschreibt einen Stand, den es so nicht mehr gibt.

Wo es verwechselt wird

SOTA ist keine Eigenschaft eines Modells, sondern eine Momentaufnahme auf einer Messung. Und der Spitzenplatz in einer Rangliste ist keine Zusage für Alltagsaufgaben, die dort nicht vorkommen.

Verwandte Begriffe

Benchmark, Benchmark Gaming, Benchmark Contamination, Evaluation, Pairwise Evaluation.