बेस्ट-ऑफ़-N सैंपलिंग क्या है?

यह काम क्यों करता है

भाषा मॉडल का आउटपुट सैंपल किया जाता है, तय नहीं होता। एक ही प्रॉम्प्ट के दो रन अलग-अलग क्वालिटी के अलग-अलग जवाब देते हैं। अगर मॉडल के अच्छे जवाब बुरों से ज़्यादा हों, तो कई सैंपल लेने से कम-से-कम एक अच्छा होने की संभावना बढ़ जाती है।

यही पूरा मैकेनिज़्म है। यह मॉडल को होशियार नहीं बनाता; यह उसकी मौजूदा काबिलियत पर आपको और मौक़े देता है।

विजेता चुनना मुश्किल हिस्सा है

उम्मीदवार बनाना आसान है। उनके बीच चुनना असली मुश्किल है, और यहीं इस तकनीक की ज़्यादातर क़ीमत और ज़्यादातर नाकामी छिपी है।

ऑटोमेटेड जाँच से चुनाव — क्या यह कंपाइल होता है, क्या टेस्ट पास होते हैं, क्या यह स्कीमा को संतुष्ट करता है — सबसे भरोसेमंद है, क्योंकि जाँच मॉडल से स्वतंत्र है। किसी और मॉडल से चुनाव एक जज है, उस पेज की सभी शर्तों के साथ। इंसान से चुनाव सबसे सटीक और सबसे कम स्केल होने वाला है।

N चुनना

रिटर्न तेज़ी से घटता है। एक उम्मीदवार से तीन पर जाना बड़ा सुधार है; तीन से दस पर जाना तीन गुना से ज़्यादा लागत में छोटा सुधार है। ज़्यादातर व्यावहारिक इस्तेमाल तीन से पाँच के बीच होते हैं।

N लागत को ठीक-ठीक कई गुना करता है। पाँच उम्मीदवार यानी जनरेशन टोकन का पाँच गुना, साथ ही चुनाव की जो भी लागत हो।

कब इस्तेमाल न करें

अगर आपके पास अच्छे और बुरे जवाब में फ़र्क़ करने का कोई तरीक़ा नहीं है, तो बेस्ट-ऑफ़-N मदद नहीं कर सकता — आप एक बड़े ढेर में से मनमाना चुनेंगे और उसके लिए ज़्यादा भुगतान करेंगे। इसका सही घर वह काम है जिसकी वस्तुनिष्ठ जाँच हो: कोड, संरचित आउटपुट, कोई भी ऐसी चीज़ जो या तो पार्स होती है या नहीं होती।

अक्सर पूछे जाने वाले सवाल

क्या बेस्ट-ऑफ़-N टेम्परेचर बढ़ाने जैसा ही है?

नहीं, हालाँकि दोनों साथ में असर करते हैं। टेम्परेचर तय करता है हर जवाब कितना अलग हो। बेस्ट-ऑफ़-N इस बारे में है कि आप कितने लेते हैं और कैसे चुनते हैं। कुछ विविधता मदद करती है, क्योंकि एक जैसे उम्मीदवार चुनने के लिए कुछ नहीं छोड़ते।

क्या मैं उम्मीदवारों के लिए अलग-अलग मॉडल इस्तेमाल कर सकता हूँ?

हाँ, और यह अक्सर मदद करता है — मॉडल अलग-अलग तरह से फ़ेल होते हैं, इसलिए यह समूह एक ही मॉडल के बार-बार सैंपल से ज़्यादा विविध होता है। इस बिंदु पर आप सहमति के क़रीब होते हैं, सहमति की जगह चुनाव के साथ।

क्या यह तथ्यात्मक सटीकता में मदद करता है?

सिर्फ़ तब जब आपका सिलेक्टर तथ्यात्मक ग़लतियाँ पकड़ सके। बिना बाहरी जाँच के आप भरोसेमंद जवाबों में से चुन रहे होते हैं, और भरोसा सटीकता नहीं है।