ما الذي تتحكم به الحرارة وTop-p؟

يعيدان تشكيل الاختيار، لا معرفة النموذج

بحلول وقت تطبيق الحرارة أو Top-p، يكون النموذج قد حسب بالفعل احتمالًا لكل رمز تالٍ ممكن بحسب السياق الحالي. لا يغيّر أيٌّ من الإعدادين مصدر تلك الاحتمالات — معاملات النموذج المتعلَّمة والسياق الذي أُعطي له. إنما يغيّران فقط كيفية اختيار رمز من التوزيع الذي أنتجه النموذج بالفعل.

الحرارة تضبط مدى حدة أو تسطّح ذلك التوزيع

الحرارة الأدنى تجعل الرموز الأعلى احتمالًا أكثر ترجيحًا للاختيار، فتميل المخرجات إلى الاستمرارية الوحيدة الأكثر احتمالًا وتتكرر أكثر عبر عمليات تشغيل منفصلة. الحرارة الأعلى تُسطّح التوزيع، فتمنح الرموز الأقل احتمالًا فرصة أكثر واقعية للاختيار، ما ينتج صياغة أكثر تنوعًا — ومجالًا أكبر لتسلل رمز غير محتمل، وأحيانًا غريب.

لا تضيف الحرارة معلومة لا يملكها النموذج. لا يمكنها تحويل تخمين خاطئ إلى صحيح؛ إنما تغيّر فقط مدى قوة التزام النموذج بالتخمين الذي يفضّله بالفعل.

Top-p يحدّ من الرموز التي تُؤخذ في الاعتبار أصلًا

يعمل Top-p، ويُسمى أيضًا أخذ العينات النووي (nucleus sampling)، بشكل مختلف عن الحرارة: بدل إعادة تشكيل كل احتمال، يضيّق أولًا المجال إلى أصغر مجموعة من الرموز الأعلى التي يبلغ مجموع احتمالاتها عتبة مختارة، ثم يأخذ العينات من تلك المجموعة فقط. Top-p المنخفض يبقي فقط الحفنة من الرموز التي يثق بها النموذج أكثر؛ وTop-p المرتفع يسمح بنطاق أوسع من البدائل المعقولة. عادةً ما يُطبَّق الحرارة وTop-p معًا، أحدهما بعد الآخر، لا كبديل أحدهما عن الآخر.

حرارة الصفر قريبة من الحتمية، لا حتمية تمامًا

حرارة الصفر، أو إعداد مكافئ لـ"اختر دائمًا الرمز الأكثر احتمالًا"، تُزيل خطوة أخذ العينات ويُفترض من حيث المبدأ أن تجعل المخرجات قابلة لإعادة الإنتاج لمدخل متطابق. عمليًا، حساب الفاصلة العائمة على وحدات معالجة الرسوميات ليس مستقلًا تمامًا عن الترتيب، وقد تجمّع بنية المزوّد التحتية الحسابات أو تعيد ترتيبها بين الطلبات. النتيجة أن المطالبة نفسها المُرسَلة مرتين بالإعداد الأكثر حتمية قد تعود أحيانًا مختلفة، خصوصًا حين يكون رمزان مرشحان متعادلين تقريبًا.

الإعداد الأدنى ليس أفضل تلقائيًا

تقليل العشوائية يجعل المخرجات أكثر قابلية للتكرار، لا أكثر صحة. تبقى الاستمرارية الخاطئة بثقة خاطئة بثقة عند الحرارة المنخفضة، كما يمكن للإعدادات المنخفضة جدًا أن تنتج صياغة متكررة أو متيبسة بشكل ملحوظ في المخرجات الأطول، لأن النموذج يواصل إعادة اختيار الرموز الآمنة نفسها ذات الاحتمال العالي.

الإعداد الصحيح يعتمد على الغرض من المخرجات

المهام التي لها إجابة صحيحة واحدة أساسًا — استخراج قيمة، اتباع تنسيق صارم، كتابة شيفرة يجب أن تُترجَم بنجاح — تستفيد عمومًا من عشوائية أقل، لأن الاتساق أهم من التنوع. المهام التي يمكن أن تكون فيها عدة إجابات مختلفة جيدة كلها — العصف الذهني، صياغة بدائل تعبيرية، الكتابة المفتوحة — تستفيد من عشوائية أكثر، لأن التنوع هو المقصد هناك بالذات. لا يعوّض أيٌّ من الإعدادين عن منح النموذج سياقًا أفضل، ولا يعوّض عن التحقق من إجابة تهم فعلًا.

أسئلة يطرحها الناس

هل تجعل حرارة الصفر المخرجات حتمية؟

تقريبًا، لكن ليس مضمونًا. تُزيل العشوائية المقصودة لأخذ العينات، لكن حسابات الفاصلة العائمة والتجميع من جانب المزوّد قد تنتج أحيانًا رمزًا مختلفًا عند تعادل تام أو قرار متقارب جدًا، فالطلبات المتطابقة تكون عادةً — لا دائمًا — متطابقة.

ما الفرق بين الحرارة وTop-p؟

الحرارة تعيد تشكيل احتمال كل رمز تالٍ ممكن. أما Top-p فيضيّق أولًا المجال إلى أصغر مجموعة من المرشحين الأعلى الذين تتجاوز احتمالاتهم عتبة معينة، ثم يأخذ العينات من تلك المجموعة فقط. يعملان على التوزيع نفسه بطرق مختلفة وغالبًا ما يُجمَعان معًا.

هل تجعل الحرارة الأعلى النموذج أكثر إبداعًا أو معرفة؟

تغيّر تنوع الصياغة، لا المعرفة أو الاستدلال. يمكن للحرارة الأعلى أن تنتج صياغة أكثر تنوعًا، لكنها ما زالت تستمد من المعاملات المتعلَّمة نفسها، ويمكنها بالسهولة ذاتها أن تُظهر استمرارية أقل احتمالًا وأدنى جودة.

هل ينبغي أن أستخدم دائمًا الإعداد الأدنى للمهام الواقعية؟

الإعداد الأدنى يجعل المخرجات أكثر اتساقًا، ما يفيد حين يكون الاتساق نفسه هو الهدف، لكنه لا يصحّح إجابة خاطئة في جوهرها — يمكن أن تكون مخرجات الحرارة المنخفضة خاطئة بثقة وبشكل متكرر. التحقق من ادعاء واقعي ما زال يتطلب مصدرًا أو فحصًا مستقلًا.