Comment lire les benchmarks d’IA sans se laisser tromper

Un benchmark est un test fixe, pas une mesure générale de capacité

Des benchmarks connus comme MMLU (culture générale à choix multiple), HumanEval (petits problèmes de programmation) ou GSM8K (problèmes de maths niveau primaire) testent chacun une compétence étroite et spécifique dans un format précis. Un modèle peut bien noter sur l’un et mal sur une tâche qui paraît similaire à un humain mais structurée différemment — de la programmation longue plutôt que de courtes fonctions isolées, par exemple, ou de l’écriture ouverte plutôt que du rappel à choix multiple.

Les questions d’un benchmark peuvent fuiter dans les données d’entraînement

Les benchmarks populaires sont publics, et leurs questions circulent largement sur le web, dans des articles et dans des discussions de forums — exactement le type de texte sur lequel s’entraînent les grands modèles. Quand un modèle a déjà vu la réponse dans les faits, son score reflète de la mémorisation sur ce test précis, pas la capacité générale que le benchmark était censé représenter. C’est ce qu’on appelle la contamination, et c’est difficile à détecter de l’extérieur à partir du seul score.

Le score rapporté peut dépendre fortement de la façon dont le modèle a été interrogé

Le même modèle peut noter très différemment selon le format du prompt, le nombre d’exemples résolus montrés avant la vraie question, et s’il a été autorisé à raisonner étape par étape avant de répondre. Un fournisseur qui rapporte son meilleur résultat dans des conditions généreuses ne ment pas, mais ce chiffre peut ne pas ressembler à ce que vous obtiendriez avec un prompt simple et quotidien.

Les benchmarks se saturent — et cessent d’être utiles une fois que la plupart des modèles les réussissent

Une fois que la plupart des modèles de pointe notent près du maximum sur un benchmark, celui-ci cesse de les distinguer de façon significative, même si l’ancien chiffre est souvent encore cité. Un score presque parfait sur un benchmark saturé en dit moins qu’avant ; des benchmarks plus récents et plus difficiles tendent à le remplacer, et une comparaison marketing qui s’appuie sur un vieux chiffre saturé mérite un second regard.

Une seule moyenne cache exactement là où un modèle peine vraiment

Un score global de benchmark est une moyenne sur de nombreuses questions de difficulté et de type variés. Un modèle peut bien performer en moyenne tout en étant peu fiable sur une sous-catégorie précise qui compte pour vous — un type particulier de raisonnement, un domaine spécifique, une certaine longueur de tâche. La moyenne est un résumé, et les résumés éliminent justement le détail qui compte le plus, en général, pour une vraie décision.

Traitez un benchmark comme un point de départ, pas comme un verdict

Un score de benchmark est surtout utile comme premier filtre grossier — éliminer un modèle clairement inadapté, ou présélectionner quelques candidats qui méritent d’être testés plus avant — plutôt que comme le mot final sur le modèle à utiliser. Voir comment évaluer des modèles d’IA pour savoir ce qui prédit vraiment l’adéquation une fois votre présélection réduite : tester sur vos propres tâches représentatives, ce qu’aucun benchmark publié ne peut remplacer.

Questions fréquentes

Que teste vraiment un benchmark comme MMLU ou HumanEval ?

Un ensemble fixe et spécifique de questions dans un format précis — MMLU est de la culture générale à choix multiple, HumanEval de petits problèmes de programmation. Chacun mesure une compétence étroite, pas une intelligence générale ou une capacité tous azimuts.

Pourquoi les scores de benchmark de différents fournisseurs semblent-ils parfois incohérents ?

Les scores peuvent dépendre du format du prompt, du nombre d’exemples montrés avant la vraie question, et de si le raisonnement étape par étape était autorisé. Des conditions de reporting différentes produisent des chiffres différents pour le même modèle sous-jacent.

Qu’est-ce que la contamination de benchmark ?

Quand les questions publiques d’un benchmark finissent dans les données d’entraînement d’un modèle, si bien que celui-ci a dans les faits déjà vu les réponses avant d’être testé. Le score qui en résulte reflète de la mémorisation, pas la capacité que le benchmark était censé mesurer.

Devrais-je ignorer complètement les scores de benchmark ?

Non — ce sont un premier filtre raisonnable pour écarter des modèles clairement inadaptés ou constituer une présélection. Ne traitez simplement pas le chiffre final comme un verdict ; testez la présélection sur vos propres tâches représentatives avant de décider.