KI-Benchmarks richtig lesen, ohne sich täuschen zu lassen

Ein Benchmark ist ein fester Test, kein allgemeines Fähigkeitsmaß

Bekannte Benchmarks wie MMLU (allgemeines Wissen als Multiple-Choice), HumanEval (kurze Programmieraufgaben) oder GSM8K (Textaufgaben aus der Grundschulmathematik) testen jeweils eine enge, spezifische Fähigkeit in einem bestimmten Format. Ein Modell kann bei einem gut abschneiden und bei einer Aufgabe schlecht, die einem Menschen ähnlich vorkommt, aber anders strukturiert ist — etwa umfangreiches Programmieren statt kurzer isolierter Funktionen, oder offenes Schreiben statt Multiple-Choice-Erinnerung.

Benchmark-Fragen können in Trainingsdaten einsickern

Beliebte Benchmarks sind öffentlich, und ihre Fragen zirkulieren weit im Web, in Papern und in Forendiskussionen — genau die Art von Text, mit der große Modelle trainiert werden. Wenn ein Modell die Antwort effektiv schon einmal gesehen hat, spiegelt sein Wert Auswendiglernen bei diesem konkreten Test wider, nicht die allgemeine Fähigkeit, die der Benchmark eigentlich abbilden soll. Das nennt man Kontamination, und für Außenstehende ist sie allein an der Zahl schwer zu erkennen.

Der berichtete Wert kann stark davon abhängen, wie das Modell befragt wurde

Dasselbe Modell kann je nach Prompt-Format, Anzahl der vorgeführten Beispiele vor der eigentlichen Frage und ob schrittweises Denken vor der Antwort erlaubt war, sehr unterschiedliche Werte erzielen. Ein Anbieter, der sein bestes Ergebnis unter großzügigen Bedingungen meldet, lügt nicht — aber diese Zahl entspricht möglicherweise nicht dem, was Sie bei einem schlichten, alltäglichen Prompt bekommen.

Benchmarks sättigen sich — und werden nutzlos, sobald die meisten Modelle sie bestehen

Sobald die meisten führenden Modelle bei einem Benchmark nah am Maximum liegen, unterscheidet er sie nicht mehr sinnvoll, auch wenn die ältere Zahl oft weiter zitiert wird. Ein nahezu perfekter Wert bei einem gesättigten Benchmark sagt weniger aus als früher; neuere, schwierigere Benchmarks lösen ihn meist ab, und ein Marketingvergleich, der sich auf eine alte, gesättigte Zahl stützt, verdient einen zweiten Blick.

Ein einzelner Durchschnittswert verbirgt genau die Stellen, an denen ein Modell schwächelt

Ein Gesamt-Benchmark-Wert ist ein Durchschnitt über viele Fragen unterschiedlicher Schwierigkeit und Art. Ein Modell kann im Schnitt gut abschneiden und trotzdem in einer bestimmten Unterkategorie unzuverlässig sein, die Ihnen wichtig ist — eine bestimmte Art von Schlussfolgern, ein bestimmter Bereich, eine bestimmte Aufgabenlänge. Der Durchschnitt ist eine Zusammenfassung, und Zusammenfassungen verwerfen genau die Details, die für eine reale Entscheidung meist am wichtigsten sind.

Behandeln Sie einen Benchmark als Ausgangspunkt, nicht als Urteil

Ein Benchmark-Wert ist am nützlichsten als grober erster Filter — um ein Modell klar auszuschließen oder eine Vorauswahl fürs weitere Testen zu treffen — nicht als letztes Wort darüber, welches Modell zu verwenden ist. Siehe KI-Modelle bewerten dafür, was tatsächlich Eignung vorhersagt, sobald Sie eine Vorauswahl getroffen haben: das Testen an eigenen repräsentativen Aufgaben, das kein veröffentlichter Benchmark ersetzen kann.

Häufige Fragen

Was testet ein Benchmark wie MMLU oder HumanEval eigentlich?

Eine feste, spezifische Menge von Fragen in einem bestimmten Format — MMLU ist allgemeines Wissen als Multiple-Choice, HumanEval sind kurze Programmieraufgaben. Jeder misst eine enge Fähigkeit, keine allgemeine Intelligenz oder Fähigkeit über jede Aufgabe hinweg.

Warum wirken Benchmark-Werte verschiedener Anbieter manchmal widersprüchlich?

Werte können vom Prompt-Format, der Anzahl gezeigter Beispiele vor der eigentlichen Frage und davon abhängen, ob schrittweises Denken erlaubt war. Unterschiedliche Berichtsbedingungen ergeben unterschiedliche Zahlen für dasselbe zugrundeliegende Modell.

Was ist Benchmark-Kontamination?

Wenn die öffentlichen Fragen eines Benchmarks in den Trainingsdaten eines Modells landen, sodass das Modell die Antworten effektiv schon vor dem Test gesehen hat. Der resultierende Wert spiegelt Auswendiglernen wider, nicht die Fähigkeit, die der Benchmark eigentlich messen sollte.

Sollte ich Benchmark-Werte komplett ignorieren?

Nein — sie sind ein vernünftiger erster Filter, um klar ungeeignete Modelle auszuschließen oder eine Vorauswahl zu treffen. Behandeln Sie die endgültige Zahl nur nicht als Urteil; testen Sie die Vorauswahl an eigenen repräsentativen Aufgaben, bevor Sie entscheiden.