コンテキストウィンドウとは？

記憶ではない

モデルは前回の会話を覚えているわけではありません。記憶の錯覚を生むのは、アプリケーションが以前のメッセージを新しいリクエストのたびに再送信していることです。ウィンドウは一回の呼び出しのための作業スペースであり、保存領域ではありません。

ここから、人々が驚きとして遭遇する直接的な結果が生まれます。長い会話はメッセージごとに高くなります。履歴全体が毎回再送信され、毎回再課金されるからです。

満たされたウィンドウはうまく使われたウィンドウではない

大きなウィンドウは許容量であって目標ではありません。モデルは長いコンテキスト全体に均等に注意を払うわけではありません。非常に長い入力の中間にある内容は、両端にある内容より軽く扱われる可能性が高くなります。

実際には、焦点を絞った十ページが、焦点の定まらない二百ページに勝ることが多いです。検索は、すべてを送って望みをかけるのではなく、その十ページを選ぶためにまさに存在します。

コストの押し上げ方

ほとんどのプロバイダーはトークンごとに課金し、入力と出力を別々に扱い、入力の方が通常安価です。長い会話の各メッセージに添付された大きな文書は、一回ではなく各メッセージごとに課金されます。

これは驚きの請求書の最も一般的な原因であり、修正は構造的なものです。関連するかもしれないすべてではなく、質問が必要とするものを添付してください。

よくある質問

大きなウィンドウは常に良いですか？

制限を取り除くという点では良いのですが、モデルが受け取ったものをどれだけうまく使うかは改善しません。大きなウィンドウは主に、より高くつく誤りを犯す可能性を買っているにすぎません。

トークンとは何ですか？

おおよそ単語の一部分です。英語のテキストでは平均して一トークンあたり約四分の三語になるので、千トークンは約七百五十語です。ただし言語によって大きく異なり、非ラテン文字は一語あたりより多くのトークンを使うことがよくあります。

それを超えるとどうなりますか？

リクエストが失敗するか、アプリケーションが最も古いメッセージを黙って落とします。後者の方が一般的で、より混乱を招きます。モデルがあなたが言ったことを忘れたように見えるからです。