زمینه
پنجرهٔ زمینه چیست؟
پنجرهٔ زمینه یعنی چقدر متن را مدل میتواند در یک درخواست در نظر بگیرد. چرا حافظه نیست، چرا پرکردنش به کیفیت آسیب میزند و چگونه هزینه را بالا میبرد.
همهٔ توضیحها · آخرین بازبینی:
حافظه نیست
مدل گفتوگوی پیشین شما را به یاد نمیآورد. آنچه توهم حافظه میسازد این است که برنامه پیامهای پیشین را با هر درخواست تازه دوباره میفرستد. پنجره فضای کار یک فراخوانی است، نه انبار.
از این یک پیامد مستقیم میآید که مردم غافلگیرانه با آن روبهرو میشوند: گفتوگوی بلند با هر پیام گرانتر میشود، چون کل تاریخچه هر بار دوباره فرستاده و دوباره حساب میشود.
پنجرهٔ پر، پنجرهٔ خوباستفادهشده نیست
پنجرهٔ بزرگ سقف است نه هدف. مدلها در سراسر زمینهٔ بلند توجه نابرابر میدهند: آنچه در میانهٔ ورودی بسیار بلند است بیشتر در معرض برخورد سرسری است تا آنچه در دو سر آن قرار دارد.
عملاً ده صفحهٔ متمرکز معمولاً بر دویست صفحهٔ پراکنده میچربد. بازیابی دقیقاً برای همین هست: انتخاب آن ده صفحه بهجای فرستادن همهچیز و امیدواری.
چگونه هزینه را بالا میبرد
تقریباً همهٔ ارائهدهندگان بهازای توکن حساب میکنند، ورودی و خروجی جدا، و ورودی معمولاً ارزانتر است. سند بزرگی که به هر پیام گفتوگوی بلند پیوست شده در هر پیام حساب میشود نه یکبار.
این رایجترین علت صورتحساب غافلگیرکننده است و راهحل ساختاری است: آنچه پرسش لازم دارد را پیوست کنید نه هر چیزی که شاید مرتبط باشد.
پرسشهای پرتکرار
- آیا پنجرهٔ بزرگتر همیشه بهتر است؟
- محدودیتی را برمیدارد و این خوب است، اما بهتر نمیکند که مدل چگونه از آنچه میگیرد استفاده میکند. پنجرهٔ بزرگتر بیشتر امکان اشتباهی گرانتر را برایتان میخرد.
- توکن چیست؟
- تقریباً پارهای از یک واژه. در انگلیسی حدود سهچهارم واژه بهازای هر توکن، پس هزار توکن حدود هفتصدوپنجاه واژه است — اما این با زبان فرق میکند و خطهای غیرلاتین اغلب توکن بیشتری برای هر واژه میبرند.
- اگر از آن فراتر بروم چه میشود؟
- درخواست شکست میخورد، یا برنامه قدیمیترین پیامها را بیصدا کنار میگذارد. دومی رایجتر و گیجکنندهتر است، چون بهنظر میرسد مدل چیزی را که گفتهاید فراموش کرده.
بهجای خواندن، امتحانش کنید
ClawAI توکنهای مصرفشدهٔ هر پیام را ثبت میکند؛ پس گفتوگویی که دارد گران میشود پیش از صورتحساب دیده میشود نه پس از آن.