Orchestration
Qu’est-ce qu’un juge IA ?
Un juge IA est un modèle qui note les réponses d’autres modèles. À quoi il sert, quels biais il porte et pourquoi il ne remplace pas un vrai contrôle.
Toutes les explications · Dernière vérification:
Ce que fait un juge
Un juge reçoit la question d’origine et deux réponses ou plus, et renvoie un classement ou une note, généralement avec une justification. C’est l’étape de sélection du meilleur de N et l’étape d’arbitrage quand les modèles divergent.
L’attrait est évident : cela passe à l’échelle comme la relecture humaine ne le fait pas, et c’est bien moins cher que la personne qu’il remplace.
Les biais, qui sont constants
Les juges préfèrent les réponses longues aux courtes, même quand la courte est complète. Ils préfèrent la formulation assurée à la formulation nuancée, que l’assurance soit fondée ou non. Ils sont sensibles à l’ordre de présentation des candidates. Et un modèle appelé à juger sa propre sortie tend à la préférer.
Aucun n’est subtil, et tous sont gérables — mélanger l’ordre, prendre un modèle différent comme juge et comme auteur, demander des critères précis plutôt qu’une préférence générale. Mais il faut le faire exprès, car la configuration par défaut présente les quatre.
Un juge n’est pas un vérificateur
Un juge compare les réponses entre elles. Il ne les compare pas à la réalité. Devant trois réponses fausses, il les classera avec aplomb, et la gagnante restera fausse.
Là où un contrôle externe existe — tests, schéma, recherche — ce contrôle bat un juge, car il est indépendant de ce qui est jugé. Un juge est ce que vous utilisez quand un tel contrôle n’existe pas.
Questions fréquentes
- Le juge doit-il être le modèle le plus puissant ?
- Plutôt un modèle solide, et de préférence pas celui qui a écrit les candidates. L’auto-préférence est réelle et le remède le moins cher est un autre modèle.
- Un juge peut-il noter une seule réponse ?
- Il le peut, mais le jugement comparatif est plus fiable que la notation absolue. Les modèles sont meilleurs pour « laquelle est meilleure » que pour « est-ce un 7 ou un 8 ».
- Comment savoir si le juge a raison ?
- Contrôlez-le par sondage contre votre propre jugement. Si vous ne vérifiez jamais, vous avez déplacé la confiance au lieu de la gagner.
Essayez plutôt que de lire
ClawAI exécute le jugement comme une surface propre au-dessus d’une comparaison : une réponse notée consigne à la fois les modèles ayant écrit les candidates et celui qui les a jugées.