Was steuern Temperatur und Top-p?

Sie formen eine Auswahl um, nicht das Wissen des Modells

Bis Temperatur oder Top-p greifen, hat das Modell für jedes mögliche nächste Token bereits eine Wahrscheinlichkeit anhand des aktuellen Kontexts berechnet. Keine der beiden Einstellungen ändert, woher diese Wahrscheinlichkeiten stammen — die gelernten Parameter des Modells und der gegebene Kontext. Sie ändern nur, wie ein Token aus der bereits erzeugten Verteilung ausgewählt wird.

Temperatur bestimmt, wie scharf oder flach diese Verteilung ist

Eine niedrigere Temperatur macht die wahrscheinlichsten Token noch wahrscheinlicher, sodass die Ausgabe zur einzelnen wahrscheinlichsten Fortsetzung tendiert und sich über getrennte Durchläufe hinweg stärker wiederholt. Eine höhere Temperatur flacht die Verteilung ab und gibt Token mit geringerer Wahrscheinlichkeit eine realistischere Chance, gewählt zu werden, was vielfältigere Formulierungen erzeugt — und mehr Raum für ein unwahrscheinliches, manchmal seltsames Token, das durchrutscht.

Temperatur fügt keine Information hinzu, die das Modell nicht hat. Sie kann eine falsche Vermutung nicht in eine richtige verwandeln; sie ändert nur, wie stark sich das Modell auf die Vermutung festlegt, die es bereits bevorzugt.

Top-p begrenzt, welche Token überhaupt infrage kommen

Top-p, auch Nucleus-Sampling genannt, funktioniert anders als Temperatur: Statt jede Wahrscheinlichkeit umzuformen, grenzt es zunächst auf die kleinste Menge der besten Token ein, deren Wahrscheinlichkeiten sich zu einem gewählten Schwellenwert summieren, und wählt dann nur aus dieser Menge aus. Ein niedriger Top-p-Wert behält nur die Handvoll Token, bei denen sich das Modell am sichersten ist; ein hoher Top-p-Wert lässt eine breitere Streuung plausibler Alternativen zu. Temperatur und Top-p werden meist zusammen angewendet, nacheinander, statt sich gegenseitig zu ersetzen.

Temperatur null ist nahezu deterministisch, nicht exakt deterministisch

Eine Temperatur von null, oder eine gleichwertige Einstellung „immer das wahrscheinlichste Token wählen“, entfernt den Sampling-Schritt und sollte im Prinzip bei identischer Eingabe reproduzierbare Ausgaben liefern. In der Praxis ist Gleitkomma-Arithmetik auf GPUs nicht strikt reihenfolgeunabhängig, und die Infrastruktur der Anbieter kann Berechnungen zwischen Anfragen bündeln oder anders anordnen. Das Ergebnis ist, dass derselbe Prompt zweimal bei der deterministischsten Einstellung gesendet gelegentlich trotzdem unterschiedlich zurückkommen kann, besonders wenn zwei Kandidaten-Token fast gleichauf lagen.

Eine niedrigere Einstellung ist nicht automatisch eine bessere

Weniger Zufälligkeit macht die Ausgabe wiederholbarer, nicht richtiger. Eine überzeugt falsche Fortsetzung bleibt bei niedriger Temperatur überzeugt falsch, und sehr niedrige Einstellungen können bei längeren Ausgaben auch merklich repetitive oder steife Formulierungen erzeugen, weil das Modell immer wieder dieselben sicheren, wahrscheinlichen Token auswählt.

Die richtige Einstellung hängt davon ab, wofür die Ausgabe gedacht ist

Aufgaben mit im Wesentlichen einer richtigen Antwort — einen Wert extrahieren, ein strenges Format einhalten, Code schreiben, der kompilieren muss — profitieren im Allgemeinen von weniger Zufälligkeit, weil Konsistenz wichtiger ist als Vielfalt. Aufgaben, bei denen mehrere unterschiedliche Antworten gut sein könnten — Brainstorming, alternative Formulierungen entwerfen, offenes Schreiben — profitieren von mehr Zufälligkeit, weil es genau um die Vielfalt geht. Keine der beiden Einstellungen ersetzt einen besseren Kontext für das Modell, und keine ersetzt die Prüfung einer Antwort, auf die es wirklich ankommt.

Häufige Fragen

Macht Temperatur null die Ausgabe deterministisch?

Fast, aber nicht garantiert. Sie entfernt die beabsichtigte Zufälligkeit des Samplings, aber Gleitkommaberechnungen und anbieterseitiges Batching können bei einem exakten Gleichstand oder einer sehr knappen Entscheidung gelegentlich trotzdem ein anderes Token liefern, sodass identische Anfragen meistens — nicht immer — identisch ausfallen.

Was ist der Unterschied zwischen Temperatur und Top-p?

Temperatur formt die Wahrscheinlichkeit jedes möglichen nächsten Tokens um. Top-p grenzt zuerst auf die kleinste Menge der besten Kandidaten ein, deren Wahrscheinlichkeiten einen Schwellenwert überschreiten, und wählt dann nur aus dieser Menge. Beide wirken auf dieselbe Verteilung, aber auf unterschiedliche Weise, und werden oft kombiniert.

Macht eine höhere Temperatur ein Modell kreativer oder wissender?

Sie ändert die Vielfalt der Formulierung, nicht Wissen oder Schlussfolgerung. Eine höhere Temperatur kann vielfältigere Formulierungen erzeugen, schöpft aber weiterhin aus denselben gelernten Parametern und kann ebenso leicht eine unwahrscheinlichere, schlechtere Fortsetzung zutage fördern.

Sollte ich für faktenbasierte Aufgaben immer die niedrigste Einstellung wählen?

Eine niedrigere Einstellung macht die Ausgabe konsistenter, was hilft, wenn Konsistenz selbst das Ziel ist, behebt aber keine zugrunde liegende falsche Antwort — eine Ausgabe bei niedriger Temperatur kann überzeugt und wiederholbar falsch sein. Eine Tatsachenbehauptung zu prüfen erfordert weiterhin eine unabhängige Quelle oder Kontrolle.