Was ist ein Kontextfenster?

Es ist kein Gedächtnis

Ein Modell erinnert sich nicht an Ihr letztes Gespräch. Die Illusion von Gedächtnis entsteht, weil die Anwendung die früheren Nachrichten bei jeder neuen Anfrage erneut mitschickt. Das Fenster ist Arbeitsfläche für einen Aufruf, kein Speicher.

Daraus folgt unmittelbar etwas, das viele überrascht: Ein langes Gespräch wird mit jeder Nachricht teurer, weil der gesamte Verlauf jedes Mal erneut gesendet und erneut berechnet wird.

Ein volles Fenster ist kein gut genutztes

Ein großes Fenster ist ein Spielraum, kein Ziel. Modelle achten über einen langen Kontext hinweg ungleichmäßig: Material in der Mitte einer sehr langen Eingabe wird eher beiläufig behandelt als Material an beiden Enden.

In der Praxis schlagen zehn fokussierte Seiten meist zweihundert unfokussierte. Retrieval existiert genau dafür — diese zehn Seiten auszuwählen, statt alles zu schicken und zu hoffen.

Wie es die Kosten treibt

Fast alle Anbieter rechnen pro Token ab, Eingabe und Ausgabe getrennt, wobei Eingabe meist günstiger ist. Ein großes Dokument, das an jede Nachricht eines langen Gesprächs angehängt ist, wird bei jeder Nachricht berechnet, nicht einmal.

Das ist die häufigste Ursache einer überraschenden Rechnung, und die Lösung ist strukturell: Hängen Sie an, was die Frage braucht, statt alles, was relevant sein könnte.

Häufige Fragen

Ist ein größeres Kontextfenster immer besser?

Es nimmt eine Grenze weg, was gut ist, verbessert aber nicht, wie gut das Modell nutzt, was es bekommt. Ein größeres Fenster erkauft vor allem die Möglichkeit, einen teureren Fehler zu machen.

Was ist ein Token?

Ungefähr ein Wortfragment. Englischer Text ergibt im Schnitt etwa drei Viertel Wort pro Token, tausend Token sind also rund siebenhundertfünfzig Wörter — das schwankt aber nach Sprache, und nicht-lateinische Schriften brauchen oft mehr Token pro Wort.

Was passiert, wenn ich es überschreite?

Die Anfrage schlägt fehl, oder die Anwendung verwirft still die ältesten Nachrichten. Letzteres ist häufiger und verwirrender, weil das Modell etwas zu vergessen scheint, das Sie gesagt haben.