السياق
ما هي نافذة السياق؟
نافذة السياق هي مقدار النص الذي يستطيع النموذج أخذه في الحسبان في طلب واحد. لماذا ليست ذاكرة، ولماذا يضرّ ملؤها بالجودة، وكيف ترفع الكلفة.
كل الشروحات · آخر مراجعة:
ليست ذاكرة
لا يتذكّر النموذج محادثتك السابقة. ما يخلق وهم الذاكرة أن التطبيق يعيد إرسال الرسائل السابقة مع كل طلب جديد. النافذة مساحة عمل لاستدعاء واحد، لا تخزينًا.
ولهذا نتيجة مباشرة يلقاها الناس مفاجأةً: المحادثة الطويلة تزداد كلفة مع كل رسالة، لأن السجل كله يُعاد إرساله ويُحاسَب عليه في كل مرة.
النافذة الممتلئة ليست نافذة أُحسن استخدامها
النافذة الكبيرة سعة لا هدف. تولي النماذج انتباهًا غير متساوٍ عبر سياق طويل: ما يقع في منتصف مدخل طويل جدًا أكثر عرضة للمعالجة السطحية مما يقع عند الطرفين.
عمليًا، عشر صفحات مركّزة تتفوّق غالبًا على مئتي صفحة مشتّتة. والاسترجاع موجود تحديدًا لاختيار تلك الصفحات العشر بدل إرسال كل شيء والأمل.
كيف ترفع الكلفة
يحاسب معظم المزوّدين بالرمز، والمدخلات والمخرجات منفصلة، والمدخلات أرخص عادةً. والمستند الكبير المرفق بكل رسالة في محادثة طويلة يُحاسَب عليه في كل رسالة لا مرة واحدة.
هذا أكثر أسباب الفاتورة المفاجئة شيوعًا، والعلاج بنيوي: أرفق ما يحتاجه السؤال بدل كل ما قد يكون ذا صلة.
أسئلة يطرحها الناس
- هل النافذة الأكبر أفضل دائمًا؟
- ترفع قيدًا، وهذا جيد، لكنها لا تحسّن كيفية استفادة النموذج مما يُعطى له. النافذة الأكبر تشتري لك أساسًا إمكانية ارتكاب خطأ أغلى.
- ما هو الرمز؟
- تقريبًا جزء من كلمة. في الإنجليزية نحو ثلاثة أرباع كلمة لكل رمز، فألف رمز نحو سبعمئة وخمسين كلمة — لكن هذا يختلف كثيرًا بحسب اللغة، والكتابات غير اللاتينية تستهلك رموزًا أكثر لكل كلمة غالبًا.
- ماذا يحدث إن تجاوزتها؟
- يفشل الطلب، أو يسقط التطبيق أقدم الرسائل بصمت. والثاني أكثر شيوعًا وأكثر إرباكًا، لأن النموذج يبدو وكأنه نسي شيئًا قلته.
جرّبه بدل أن تقرأ عنه
يسجّل ClawAI الرموز التي استهلكتها كل رسالة، فتظهر المحادثة التي تزداد كلفتها قبل الفاتورة لا بعدها.