O que é um juiz de IA?

O que um juiz faz

Um juiz recebe a pergunta original e duas ou mais respostas, e devolve uma classificação ou nota, normalmente com uma justificativa. É o passo de seleção no melhor de N e o passo de arbitragem quando os modelos divergem.

O apelo é óbvio: escala de um jeito que a revisão humana não escala, e é muito mais barato do que a pessoa que substitui.

Os vieses, que são consistentes

Juízes preferem respostas longas às curtas, mesmo quando a curta está completa. Preferem formulação confiante à ponderada, esteja a confiança justificada ou não. São sensíveis à ordem de apresentação das candidatas. E um modelo chamado a julgar a própria saída tende a preferi-la.

Nenhum é sutil e todos são gerenciáveis — embaralhe a ordem, use um modelo diferente como juiz e como autor, peça critérios específicos em vez de preferência geral. Mas precisam ser tratados de propósito, porque a configuração padrão exibe os quatro.

Um juiz não é um verificador

Um juiz compara respostas entre si. Não as compara com a realidade. Diante de três respostas erradas ele as ordenará com confiança, e a vencedora continuará errada.

Onde existir verificação externa — testes, um esquema, uma busca — essa verificação vence um juiz, porque independe do que está sendo julgado. Um juiz é o que se usa quando tal verificação não existe.

Perguntas frequentes

O juiz deve ser o modelo mais forte?

Normalmente um forte, e de preferência não o mesmo que escreveu as candidatas. A autopreferência é real e a correção mais barata é usar outro modelo.

Um juiz pode pontuar uma única resposta?

Pode, mas o julgamento comparativo é mais confiável do que a nota absoluta. Modelos são melhores em «qual destas é melhor» do que em «isto é 7 ou 8».

Como sei se o juiz está certo?

Confira por amostragem contra o seu próprio julgamento. Se nunca conferir, você moveu a confiança em vez de conquistá-la.