LLM ऑर्केस्ट्रेशन क्या है?

यह प्रॉम्प्ट इंजीनियरिंग नहीं है

प्रॉम्प्ट इंजीनियरिंग एक अकेली कॉल को बेहतर बनाती है। ऑर्केस्ट्रेशन तय करता है कि कितनी कॉल हों, कौन-से मॉडल उन्हें करें, और उनके आउटपुट कैसे मिलें। बेहतरीन प्रॉम्प्ट होने और कोई ऑर्केस्ट्रेशन न होने से भी काम चल सकता है — बस नतीजा एक ऐसा सिस्टम है जो किसी प्रोवाइडर का एक बुरा घंटा आते ही गिर जाता है।

यह फ़र्क़ इसलिए मायने रखता है क्योंकि दोनों अलग-अलग तरह से बेहतर होते हैं। बेहतर प्रॉम्प्ट सस्ता है और क्वालिटी को थोड़ा बढ़ाता है। बेहतर ऑर्केस्ट्रेशन टोकन ख़र्च करता है और भरोसेमंदी को काफ़ी बढ़ाता है।

ऑर्केस्ट्रेशन परत क्या तय करती है

कौन-सा मॉडल। एक से ज़्यादा से पूछना है या नहीं। जवाब लौटाने से पहले उसे जाँचना है या नहीं। किसी इनकार, टाइमआउट, या रेट लिमिट पर क्या करना है। क्या इस स्टेप का आउटपुट अगले का इनपुट बनेगा। क्या शुरू होने से पहले पूरी चीज़ अफ़ोर्डेबल है।

इनमें से हर एक एक नीति है, और हर एक अलग-अलग ग़लत हो सकती है। इसीलिए ऑर्केस्ट्रेशन को एक अलग परत के तौर पर नाम देना अच्छा है, ऐप कोड में फ़ैसलों को बिखेरने के बजाय।

आम तकनीकें

रूटिंग रिक्वेस्ट को सही मॉडल तक भेजती है। फ़ॉलबैक नाकामी संभालता है। सहमति कई मॉडलों से पूछती है और उनकी सहमति देखती है। बेस्ट-ऑफ़-N उम्मीदवार जवाब बनाकर एक रखता है। एक जज जवाबों को स्कोर करता है। सत्यापन किसी दावे को मॉडल के बाहर की किसी चीज़ से जाँचता है। पाइपलाइन स्टेप्स को जोड़ती हैं। टास्क डीकंपोज़िशन एक बड़े काम को छोटों में बाँटता है।

ClawAI इनमें से नौ को अलग-अलग ऑर्केस्ट्रेशन मोड की तरह लागू करता है, साथ ही जज और तुलना को अपनी अलग सतहों की तरह। हर एक का यहाँ अपना पेज है जो बताता है वह क्या है, इससे पहले कि आप तय करें आपको यह चाहिए या नहीं।

कब ऑर्केस्ट्रेट न करें

ऑर्केस्ट्रेशन लागत और लेटेंसी को कई गुना बढ़ाता है। तीन मॉडलों पर सहमति लगभग तीन गुना टोकन लेती है और सबसे धीमे जितना समय लेती है। जिस सवाल का जवाब आप एक नज़र में जाँच सकते हैं, उसके लिए यह बुरा सौदा है।

जो नियम टिकता है: ऑर्केस्ट्रेट तब करें जब ग़लती महँगी हो और जाँचना मुश्किल हो। वरना एक रिक्वेस्ट एक मॉडल को भेजें और जवाब पढ़ें।

अक्सर पूछे जाने वाले सवाल

क्या ऑर्केस्ट्रेशन एजेंट फ़्रेमवर्क जैसा ही है?

दोनों में ओवरलैप है पर वे एक जैसे नहीं हैं। एक एजेंट ख़ुद अपना अगला क़दम तय करता है, अक्सर टूल्स के साथ। ऑर्केस्ट्रेशन उसके आस-पास की नीति है — कौन-सा मॉडल, कितने, नाकामी पर क्या — और यह बिना किसी एजेंट वाले वर्कफ़्लो पर भी उतना ही लागू होता है।

क्या ऑर्केस्ट्रेशन के लिए फ़्रेमवर्क ज़रूरी है?

नहीं। किसी अलग मॉडल से दोबारा कोशिश करना पहले से ऑर्केस्ट्रेशन है। फ़्रेमवर्क तब मदद करते हैं जब नीतियाँ इतनी ज़्यादा हो जाएँ कि आप वरना उन्हें हर फ़ीचर में फिर से बना रहे होते।

इसकी लागत कितनी है?

टोकन में, तक़रीबन इस बात के अनुपात में कि नीति कितनी मॉडल कॉल करती है। रूट की गई एक कॉल की लागत लगभग बिना रूट की कॉल जितनी ही है; तीन मॉडलों पर सहमति लगभग तीन गुना। लागत का अनुमान लगाया जा सकता है, और यही इसे जुआ नहीं, बजट फ़ैसला बनाता है।