Como ler benchmarks de IA sem se deixar enganar

Um benchmark é um teste fixo, não uma medida geral de capacidade

Benchmarks conhecidos como MMLU (conhecimento geral de múltipla escolha), HumanEval (problemas curtos de programação) ou GSM8K (problemas de matemática em forma de texto de nível fundamental) testam cada um uma habilidade estreita e específica num formato preciso. Um modelo pode pontuar bem num deles e mal numa tarefa que parece semelhante para um humano mas é estruturada de forma diferente — programação extensa em vez de funções curtas isoladas, por exemplo, ou escrita aberta em vez de recordação de múltipla escolha.

Perguntas de benchmark podem vazar para os dados de treinamento

Benchmarks populares são públicos, e suas perguntas circulam amplamente na web, em artigos e em discussões de fóruns — exatamente o tipo de texto com que grandes modelos são treinados. Quando um modelo já viu a resposta na prática, sua pontuação reflete memorização naquele teste específico, não a capacidade geral que o benchmark pretendia representar. Isso se chama contaminação, e é difícil de detectar de fora só pela pontuação.

A pontuação relatada pode depender fortemente de como o modelo foi questionado

O mesmo modelo pode pontuar de forma muito diferente dependendo do formato do prompt, do número de exemplos resolvidos mostrados antes da pergunta real, e se foi permitido raciocinar passo a passo antes de responder. Um provedor que relata seu melhor resultado em condições generosas não está mentindo, mas esse número pode não se parecer com o que você obteria com um prompt simples do dia a dia.

Benchmarks saturam — e deixam de ser úteis quando a maioria dos modelos os supera

Quando a maioria dos modelos líderes pontua perto do máximo num benchmark, ele deixa de distingui-los de forma significativa, mesmo que o número antigo ainda seja citado com frequência. Uma pontuação quase perfeita num benchmark saturado diz menos do que dizia antes; benchmarks mais novos e difíceis tendem a substituí-lo, e uma comparação de marketing que se apoia num número velho e saturado merece um segundo olhar.

Uma única média esconde exatamente onde um modelo realmente falha

Uma pontuação geral de benchmark é uma média entre muitas perguntas de dificuldade e tipo variados. Um modelo pode ter uma boa média e ainda assim ser pouco confiável numa subcategoria específica que importa para você — um tipo particular de raciocínio, um domínio específico, um determinado comprimento de tarefa. A média é um resumo, e resumos descartam justamente o detalhe que costuma importar mais numa decisão real.

Trate um benchmark como ponto de partida, não como veredito

Uma pontuação de benchmark é mais útil como um filtro inicial aproximado — descartar claramente um modelo inadequado, ou pré-selecionar alguns que valha a pena testar mais a fundo — do que como a palavra final sobre qual modelo usar. Veja como avaliar modelos de IA para saber o que realmente prevê o encaixe depois de reduzir uma pré-seleção: testar nas suas próprias tarefas representativas, algo que nenhum benchmark publicado consegue substituir.

Perguntas frequentes

O que um benchmark como MMLU ou HumanEval realmente testa?

Um conjunto fixo e específico de perguntas num formato preciso — MMLU é conhecimento geral de múltipla escolha, HumanEval são problemas curtos de programação. Cada um mede uma habilidade estreita, não uma inteligência geral ou capacidade em qualquer tarefa.

Por que os benchmarks de provedores diferentes às vezes parecem inconsistentes?

As pontuações podem depender do formato do prompt, de quantos exemplos foram mostrados antes da pergunta real, e se o raciocínio passo a passo foi permitido. Condições de relato diferentes produzem números diferentes para o mesmo modelo subjacente.

O que é contaminação de benchmark?

Quando as perguntas públicas de um benchmark acabam nos dados de treinamento de um modelo, de modo que ele já viu as respostas na prática antes de ser testado. A pontuação resultante reflete memorização, não a capacidade que o benchmark pretendia medir.

Devo ignorar completamente as pontuações de benchmark?

Não — elas são um filtro inicial razoável para descartar modelos claramente inadequados ou montar uma pré-seleção. Só não trate o número final como um veredito; teste a pré-seleção nas suas próprias tarefas representativas antes de decidir.