Que contrôlent la température et le top-p ?

Ils remodèlent un choix, pas les connaissances du modèle

Au moment où la température ou le top-p interviennent, le modèle a déjà calculé une probabilité pour chaque prochain token possible compte tenu du contexte actuel. Aucun des deux réglages ne change d’où viennent ces probabilités — les paramètres appris du modèle et le contexte fourni. Ils changent seulement la façon dont un token est choisi dans la distribution déjà produite par le modèle.

La température ajuste le degré de netteté ou d’aplatissement de cette distribution

Une température plus basse rend les tokens les plus probables encore plus susceptibles d’être choisis, donc la sortie penche vers l’unique continuation la plus probable et se répète davantage d’une exécution à l’autre. Une température plus élevée aplatit la distribution, donnant aux tokens moins probables une chance plus réaliste d’être choisis, ce qui produit une formulation plus variée — et davantage de marge pour qu’un token peu probable, parfois étrange, se glisse.

La température n’ajoute aucune information que le modèle ne possède pas déjà. Elle ne peut pas transformer une supposition fausse en une supposition juste ; elle change seulement à quel point le modèle s’engage envers la supposition qu’il privilégie déjà.

Le top-p limite les tokens même envisagés

Le top-p, aussi appelé échantillonnage par noyau, fonctionne différemment de la température : au lieu de remodeler chaque probabilité, il restreint d’abord le champ au plus petit ensemble de tokens dont les probabilités atteignent un seuil choisi, puis n’échantillonne qu’à partir de cet ensemble. Un top-p bas ne garde que la poignée de tokens dont le modèle est le plus sûr ; un top-p élevé laisse entrer un éventail plus large d’alternatives plausibles. Température et top-p sont généralement appliqués ensemble, l’un après l’autre, plutôt que l’un à la place de l’autre.

Une température de zéro est proche du déterminisme, pas exactement déterministe

Une température de zéro, ou un réglage équivalent « toujours choisir le token le plus probable », supprime l’étape d’échantillonnage et devrait, en principe, rendre la sortie reproductible pour une entrée identique. En pratique, l’arithmétique en virgule flottante sur GPU n’est pas strictement indépendante de l’ordre des calculs, et l’infrastructure du fournisseur peut regrouper ou réorganiser les calculs entre les requêtes. Résultat : le même prompt envoyé deux fois avec le réglage le plus déterministe peut malgré tout revenir occasionnellement différent, surtout quand deux tokens candidats étaient presque à égalité.

Un réglage plus bas n’est pas automatiquement meilleur

Réduire le hasard rend la sortie plus reproductible, pas plus juste. Une continuation fausse avec assurance reste fausse avec assurance à basse température, et des réglages très bas peuvent aussi produire une formulation nettement répétitive ou guindée sur une sortie longue, parce que le modèle resélectionne sans cesse les mêmes tokens sûrs et très probables.

Le bon réglage dépend de l’usage de la sortie

Les tâches ayant essentiellement une seule bonne réponse — extraire une valeur, respecter un format strict, écrire du code qui doit compiler — profitent généralement de moins de hasard, car la cohérence compte plus que la variété. Les tâches où plusieurs réponses différentes pourraient toutes être bonnes — remue-méninges, rédaction de formulations alternatives, écriture ouverte — profitent de plus de hasard, car la variété est précisément le but. Aucun des deux réglages ne remplace un meilleur contexte donné au modèle, ni la vérification d’une réponse qui compte vraiment.

Questions fréquentes

Une température de zéro rend-elle la sortie déterministe ?

Presque, mais ce n’est pas garanti. Elle supprime le hasard intentionnel de l’échantillonnage, mais le calcul en virgule flottante et le regroupement côté fournisseur peuvent encore produire occasionnellement un token différent en cas d’égalité exacte ou de décision très serrée ; des requêtes identiques sont donc généralement — pas toujours — identiques.

Quelle est la différence entre température et top-p ?

La température remodèle la probabilité de chaque prochain token possible. Le top-p restreint d’abord le champ au plus petit ensemble de meilleurs candidats dont les probabilités franchissent un seuil, puis échantillonne uniquement à partir de cet ensemble. Ils agissent sur la même distribution de façons différentes et sont souvent combinés.

Une température plus élevée rend-elle un modèle plus créatif ou plus savant ?

Elle change la variété de la formulation, pas les connaissances ni le raisonnement. Une température plus élevée peut produire une formulation plus variée, mais puise toujours dans les mêmes paramètres appris, et peut tout aussi bien faire ressortir une continuation moins probable et de moindre qualité.

Faut-il toujours utiliser le réglage le plus bas pour les tâches factuelles ?

Un réglage plus bas rend la sortie plus cohérente, ce qui aide quand la cohérence elle-même est l’objectif, mais ne corrige pas une réponse fausse sous-jacente — une sortie à basse température peut être fausse avec assurance et de façon reproductible. Vérifier une affirmation factuelle exige toujours une source ou un contrôle indépendant.