Che cos’è un giudice IA?

Cosa fa un giudice

Un giudice riceve la domanda originale e due o più risposte, e restituisce una classifica o un punteggio, di solito con una motivazione. È il passo di selezione nel best-of-N e il passo di arbitrato quando i modelli divergono.

L’attrattiva è evidente: scala come la revisione umana non fa, ed è molto più economico della persona che sostituisce.

Le distorsioni, che sono costanti

I giudici preferiscono risposte lunghe a quelle brevi, anche quando la breve è completa. Preferiscono formulazioni sicure a quelle caute, che la sicurezza sia giustificata o no. Sono sensibili all’ordine di presentazione delle candidate. E un modello chiamato a giudicare il proprio output tende a preferirlo.

Nessuna è sottile, e tutte sono gestibili: mescola l’ordine, usa un modello diverso come giudice e come autore, chiedi criteri specifici invece di una preferenza generica. Ma vanno gestite di proposito, perché la configurazione predefinita le mostra tutte e quattro.

Un giudice non è un verificatore

Un giudice confronta le risposte tra loro. Non le confronta con la realtà. Davanti a tre risposte sbagliate le ordinerà con sicurezza, e la vincitrice resterà sbagliata.

Dove esiste un controllo esterno — test, uno schema, una ricerca — quel controllo batte un giudice, perché è indipendente da ciò che viene giudicato. Un giudice è ciò che usi quando un controllo simile non esiste.

Domande frequenti

Il giudice dovrebbe essere il modello più potente?

Di solito uno forte, e preferibilmente non lo stesso che ha scritto le candidate. L’auto-preferenza è reale e il rimedio più economico è usare un altro modello.

Un giudice può valutare una risposta singola?

Può, ma il giudizio comparativo è più affidabile della valutazione assoluta. I modelli sono più bravi su «quale di queste è migliore» che su «questo è un 7 o un 8».

Come faccio a sapere se il giudice ha ragione?

Controllalo a campione contro il tuo giudizio. Se non verifichi mai, hai spostato la fiducia invece di guadagnarla.