Qu’est-ce que la vérification des réponses IA ?

L’indépendance est toute l’idée

Si un modèle invente un fait à cause de quelque chose dans son entraînement, lui demander si ce fait est vrai consulte la source même qui l’a inventé. Le contrôle et l’erreur ont une cause commune, donc le contrôle passe.

Un vérificateur utile change quelque chose. Un autre modèle, une recherche dans de vrais documents, un compilateur, une suite de tests, un validateur de schéma. Plus le vérificateur diffère du générateur, plus il peut attraper.

Types de vérification, du plus faible au plus fort

Auto-relecture : le modèle relit sa réponse. Peu coûteux, attrape surtout la mise en forme et les contradictions internes. Relecture croisée : un autre modèle contrôle. Mieux, attrape les erreurs propres au premier. Récupération : l’affirmation est confrontée à des documents récupérés. Solide pour les affirmations factuelles. Exécution : le code tourne, le schéma valide, les tests passent. Le plus fort, et seulement disponible là où la réponse est exécutable.

Le schéma : la force suit l’indépendance vis-à-vis du modèle, et la disponibilité va en sens inverse — les contrôles les plus forts n’existent que pour certains types de travail.

Vérification et réparation

Un vérificateur qui se contente de signaler un problème vous laisse au point de départ. En pratique, la vérification s’accompagne d’une réparation : l’échec et sa raison repartent vers un modèle, qui produit une réponse corrigée, qui est de nouveau contrôlée.

Cette boucle a besoin d’une limite. Sans elle, un modèle incapable de corriger continuera à produire des variantes de la même mauvaise réponse au prix fort.

Questions fréquentes

Demander au modèle de se relire aide-t-il ?

Un peu, et surtout sur l’incohérence interne plutôt que sur l’erreur factuelle. C’est la forme la plus faible de vérification et la plus facile à surestimer.

La vérification par récupération est-elle du RAG ?

Ce sont les mêmes rouages dans des directions opposées. Le RAG récupère avant de générer, pour informer la réponse. La vérification par récupération récupère après, pour la contrôler.

Combien de tentatives de réparation ?

Une ou deux. Si un modèle n’a pas corrigé au deuxième essai, les suivants produisent en général des reformulations de la même erreur, et un humain devrait regarder.