«بهترین از N» چیست؟

چرا اصلاً کار می‌کند

خروجی مدل زبانی نمونه‌گیری می‌شود و قطعی نیست. دو اجرای یک پرسش پاسخ‌های متفاوت با کیفیت متفاوت می‌دهند. اگر پاسخ‌های خوب مدل بر بدها بچربند، برداشتن چند نمونه احتمال اینکه دست‌کم یکی خوب باشد را بالا می‌برد.

همهٔ سازوکار همین است. مدل را باهوش‌تر نمی‌کند؛ فرصت‌های بیشتری روی توانایی موجودش می‌دهد.

انتخاب برنده بخش دشوار است

ساختن نامزدها آسان است. انتخاب میان آن‌ها مسئلهٔ اصلی است و بیشترِ ارزش این روش و بیشترِ شکست آن همان‌جاست.

انتخاب با وارسی خودکار — کامپایل می‌شود، آزمون‌ها می‌گذرند، طرح‌واره رعایت شده — با فاصله قابل‌اعتمادترین است، چون وارسی مستقل از مدل است. انتخاب با مدلی دیگر یعنی داور، با همهٔ ملاحظات آن صفحه. انتخاب با انسان دقیق‌ترین و کم‌مقیاس‌پذیرترین است.

انتخاب N

بازده به‌سرعت افت می‌کند. از یک نامزد به سه، بهبودی بزرگ است؛ از سه به ده، بهبودی کوچک با بیش از سه برابر هزینه. بیشتر کاربردهای عملی میان سه تا پنج‌اند.

N هزینه را دقیقاً چند برابر می‌کند. پنج نامزد یعنی پنج برابر توکن تولید، به‌علاوهٔ هزینهٔ انتخاب.

کِی به کارش نبریم

اگر راهی برای تشخیص پاسخ خوب از بد ندارید، «بهترین از N» کمکتان نمی‌کند: از انبوهی بزرگ‌تر تصادفی برمی‌دارید و بیشتر هم می‌پردازید. خانهٔ طبیعی‌اش کاری است با وارسی عینی: کد، خروجی ساخت‌یافته، هر چیزی که یا تجزیه می‌شود یا نه.

پرسش‌های پرتکرار

آیا «بهترین از N» همان بالابردن دماست؟

نه، هرچند بر هم اثر دارند. دما تعیین می‌کند هر پاسخ چقدر متنوع باشد. «بهترین از N» دربارهٔ تعدادی است که برمی‌دارید و شیوهٔ انتخابتان. کمی تنوع کمک می‌کند، چون نامزدهای یکسان چیزی برای انتخاب باقی نمی‌گذارند.

می‌توانم برای نامزدها از مدل‌های مختلف استفاده کنم؟

بله و اغلب کمک می‌کند: مدل‌ها به‌شکل‌های مختلف شکست می‌خورند، پس مجموعه متنوع‌تر از نمونه‌های مکرر یک مدل است. در این نقطه به هم‌رأیی نزدیک‌اید، با انتخاب به‌جای توافق.

به دقت واقعی کمک می‌کند؟

فقط اگر انتخاب‌کننده‌تان بتواند خطای واقعی را تشخیص دهد. بدون وارسی بیرونی میان پاسخ‌های بااطمینان انتخاب می‌کنید، و اطمینان دقت نیست.