मुख्य सामग्री पर जाएँ

ऑर्केस्ट्रेशन

AI मॉडलों के बीच सहमति क्या है?

सहमति कई मॉडलों से एक ही सवाल पूछती है और उनकी सहमति को संकेत मानती है। सहमति क्या बताती है और क्या नहीं, और कब यह लागत जायज़ है।

सभी लेख · आख़िरी समीक्षा:

सहमति असल में क्या बताती है

सहमति सबूत है, प्रमाण नहीं। जो मॉडल ओवरलैप करते डेटा पर ट्रेन हुए हों, वे एक जैसे पूर्वाग्रह साझा करते हैं और भरोसे के साथ एक ही दिशा में ग़लत हो सकते हैं। तीन मॉडलों का किसी ग़लत तथ्य पर सहमत होना एक आम नतीजा है, दुर्लभ नहीं।

यह संकेत तब ज़्यादा मज़बूत होता है जब मॉडल सच में अलग हों — अलग वेंडर, अलग ट्रेनिंग, अलग आकार। एक ही परिवार के तीन वैरिएंट के बीच सहमति लगभग बेकार है।

असहमति ज़्यादा उपयोगी आउटपुट है

सहमति की व्यावहारिक क़ीमत आमतौर पर नकारात्मक मामले में होती है। जब मॉडल अलग-अलग राय दें, तो आपने ऐसा सवाल ढूँढ लिया है जिसे किसी इंसान की ज़रूरत है — और उन्हें सस्ते में ढूँढना पहले से आसान सवालों पर मामूली अतिरिक्त भरोसे से ज़्यादा क़ीमती है।

यह इस्तेमाल के वक़्त की सोच को बदल देता है। सहमति हर चीज़ पर लागू होने वाला क्वालिटी सुधार नहीं है; यह वहाँ लागू होने वाला ट्राएज टूल है जहाँ ग़लती महँगी हो।

लागत

तीन मॉडल चलाना लगभग तीन गुना टोकन लेता है और सबसे धीमे जितना समय लेता है। किसी रूटीन सवाल पर यह शुद्ध बर्बादी है। किसी कॉन्ट्रैक्ट के बंद, किसी माइग्रेशन प्लान, या किसी मेडिकल सारांश पर, जिस पर आप कार्रवाई करने वाले हैं, यह सस्ता है।

कब इस्तेमाल न करें

जाँची जा सकने वाली जवाब वाले सवालों के लिए सहमति इस्तेमाल न करें। अगर कोड कंपाइल होता है या नहीं, तो उसे चलाएँ — यह तीन मॉडलों की सहमति से भी ज़्यादा मज़बूत संकेत है। सहमति उन निर्णय-आधारित सवालों के लिए है जहाँ कोई सस्ती बाहरी जाँच मौजूद नहीं है।

अक्सर पूछे जाने वाले सवाल

मुझे कितने मॉडलों की ज़रूरत है?
तीन आम चुनाव है, क्योंकि दो सिर्फ़ सहमत या असहमत हो सकते हैं, जबकि तीन असहमति की शक्ल दिखाते हैं। तीन से ज़्यादा शायद ही फ़ैसला बदलते हैं और बिल को कई गुना कर देते हैं।
क्या सहमति हैलुसिनेशन रोकती है?
नहीं। यह उन हैलुसिनेशन को पकड़ती है जो किसी एक मॉडल की ख़ासियत हों, और जो कई मॉडल साझा करते हैं उन्हें छोड़ देती है। यह एक फ़िल्टर है, गारंटी नहीं।
क्या यह बेस्ट-ऑफ़-N जैसा ही है?
नहीं। सहमति अलग-अलग मॉडलों के जवाबों की तुलना करती है यह देखने के लिए कि वे सहमत हैं या नहीं। बेस्ट-ऑफ़-N कई उम्मीदवार बनाकर एक चुनता है। सहमति सहमति नापती है; बेस्ट-ऑफ़-N क्वालिटी चुनता है।

पढ़ने से बेहतर, आज़माकर देखें

सहमति ClawAI के 9 ऑर्केस्ट्रेशन मोड में से एक है, और हर रन उन सभी मॉडलों को दर्ज करता है जो उसने इस्तेमाल किए और उसकी लागत क्या रही।