Pourquoi l’IA hallucine-t-elle ?

Une réponse fausse assurée, pas une erreur que le modèle peut signaler

Un modèle n’a pas de mode séparé « je ne sais pas » vers lequel se replier. Chaque réponse, juste ou fausse, provient du même processus de prédiction du token suivant, si bien qu’une citation inventée ou une méthode d’API qui n’existe pas sonne avec la même assurance fluide qu’une réponse correcte. C’est ce qui distingue l’hallucination d’un bug logiciel classique — aucune exception n’est levée, aucun signal n’est déclenché, rien à intercepter. Le résultat paraît tout aussi fiable, qu’il soit juste ou faux.

Pourquoi ça arrive : prédiction, pas consultation

Un modèle de langage est entraîné à prédire des continuations plausibles de texte, apprises à partir de motifs présents dans ses données d’entraînement. Il ne stocke pas des faits sous une forme récupérable et vérifiable comme le ferait une base de données — il stocke la forme statistique du langage, y compris les faits assez fréquents à l’entraînement pour façonner cette forme. Quand un prompt demande quelque chose que le modèle a vu rarement, de façon incohérente, ou jamais, le modèle ne renonce pas à répondre ; il produit quand même la continuation la plus plausible, parce que c’est tout ce qu’il sait faire.

Cela explique aussi pourquoi l’hallucination s’aggrave sur des détails spécifiques, rares ou récents — une affaire judiciaire qui sonne vrai mais qui est inventée, un numéro de version plausible mais faux, une citation qui ressemble au titre d’un vrai article. Plus une affirmation est précise, plus il est probable que le modèle comble un vide avec quelque chose de simplement plausible plutôt que de connu.

L’ancrage réduit l’écart ; il ne le comble pas

Placer un vrai texte source devant le modèle avant qu’il réponde — la récupération, voir ce qu’est le RAG — réduit mesurablement l’hallucination sur les questions que ces sources couvrent réellement, parce que le modèle peut reformuler ce qu’il vient de lire plutôt que de prédire à partir des seules données d’entraînement. Mais c’est une forte tendance, pas une garantie : si la récupération ne renvoie rien d’utile, ou si les sources sont incomplètes, le modèle peut toujours répondre avec fluidité depuis sa mémoire plutôt que d’admettre que les sources n’ont pas aidé.

Le croisement de modèles est un filtre, pas un remède

Poser la même question à plusieurs modèles et comparer les réponses capte les hallucinations propres à l’entraînement ou aux particularités d’un modèle — si un seul modèle sur trois invente un détail, ce désaccord est un signal. Cela ne capte pas une hallucination partagée par la plupart des modèles, parce que les données d’entraînement se recoupent entre fournisseurs. La même limite s’applique à l’usage d’un modèle distinct comme juge pour noter une réponse : un modèle juge peut être trompé par le même genre de texte fluide, assuré et faux qu’il est censé vérifier.

Ce qui réduit vraiment l’hallucination, en pratique

Aucune technique unique n’élimine l’hallucination, parce que c’est une propriété de la façon dont ces modèles génèrent du texte, pas un défaut propre à un modèle ou un fournisseur. Ce qui aide mesurablement, c’est de restreindre la tâche du modèle : ancrer les réponses dans du texte source récupéré pour les questions que ces sources couvrent, garder des requêtes précises plutôt qu’ouvertes, et traiter les citations, chiffres et détails précis du modèle lui-même comme des affirmations à vérifier plutôt que des faits déjà validés. Combiner les techniques — ancrage, croisement de modèles et vérification contre une source — réduit la marge d’erreur plus que chacune séparément.

Pourquoi baisser l’aléatoire ne règle rien

On suppose souvent qu’abaisser la température (voir température et top-p) rend un modèle plus véridique, parce que le résultat semble plus prudent et déterministe. La température contrôle la façon dont le modèle échantillonne parmi les tokens suivants probables — elle ne change pas ce que le modèle sait et n’ajoute aucune étape de vérification des faits. Un modèle peut halluciner à température zéro avec la même assurance qu’à température un ; un réglage plus bas le fait juste halluciner la même réponse fausse avec plus de constance.

Questions fréquentes

Peut-on corriger complètement l’hallucination ?

Non, pas avec les architectures actuelles de modèles de langage. Elle vient de la façon dont ces modèles génèrent du texte — prédire des continuations plausibles plutôt que vérifier des faits —, donc on peut la réduire par l’ancrage, le croisement de modèles et la vérification, mais pas l’éliminer comme catégorie.

Un modèle plus gros ou plus récent hallucine-t-il moins ?

Souvent moins sur les connaissances courantes, parce qu’une plus grande partie était bien représentée à l’entraînement. Cela n’élimine pas le mécanisme sous-jacent — un modèle plus récent peut toujours halluciner avec assurance sur des détails rares, précis ou récents pour lesquels il n’a pas été bien entraîné.

L’hallucination, est-ce la même chose que le modèle qui ment ?

Non. Mentir suppose de connaître la vérité et d’affirmer le contraire. Un modèle n’a pas de canal séparé pour « la vérité » auquel comparer sa sortie — il génère la continuation statistiquement la plus plausible, qu’elle se révèle exacte ou non.

Donner ses propres documents au modèle arrête-t-il l’hallucination ?

Cela la réduit fortement pour les questions que ces documents répondent réellement, parce que le modèle peut reformuler du texte récupéré plutôt que de prédire à partir des seules données d’entraînement. Cela n’empêche pas le modèle de répondre avec fluidité depuis sa mémoire quand la récupération ne trouve rien de pertinent.