लोकल AI क्या है?

क्या बदलता है

डेटा असली वजह है। किसी होस्टेड मॉडल को भेजा गया प्रॉम्प्ट उस प्रोवाइडर की अपनी शर्तों के तहत प्रोसेस होता है। लोकल मॉडल को भेजा गया प्रॉम्प्ट कहीं नहीं भेजा जाता, जो उस गारंटी का इकलौता वर्ज़न है जो किसी और की नीति पर निर्भर नहीं करता।

यह टोकन-दर-टोकन बिलिंग, रेट लिमिट, और मॉडल के आपके नीचे से रिटायर हो जाने की संभावना भी हटा देता है। जो मॉडल आपने डाउनलोड किया है, वह काम करता रहता है।

लागत की शक्ल, न कि लागत

लोकल AI अपने-आप सस्ता नहीं होता। यह एक बदलती हुई लागत को स्थिर लागत में बदल देता है: आप हार्डवेयर ख़रीदते या किराए पर लेते हैं, और फिर इन्फ़रेंस मार्जिन पर लगभग मुफ़्त हो जाता है।

यह ज़्यादा, स्थिर वॉल्यूम पर अच्छा सौदा है और कभी-कभार इस्तेमाल के लिए बुरा। ज़्यादातर दिन बेकार पड़ा GPU उन API कॉल्स से महँगा है जिनकी जगह उसने ली।

ईमानदार सीमाएँ

जो मॉडल एक ही मशीन पर आराम से चलते हैं, वे आमतौर पर उपलब्ध सबसे बड़े मॉडल नहीं होते। सबसे मुश्किल रीज़निंग काम पर किसी होस्टेड फ़्रंटियर मॉडल के साथ फ़र्क़ असली है।

बहुत सारे रोज़मर्रा के काम के लिए — सारांश बनाना, ड्राफ़्ट लिखना, निकालना, वर्गीकृत करना, रूटीन कोड — यह फ़र्क़ जितना माना जाता है उससे कहीं छोटा है, और अक्सर प्राइवेसी और लागत के गुण क्षमता की आख़िरी बढ़त से ज़्यादा मायने रखते हैं।

सबसे उपयोगी हाइब्रिड के रूप में

आम पैटर्न न सिर्फ़ लोकल है न सिर्फ़ क्लाउड। यह किसी भी संवेदनशील या ज़्यादा-वॉल्यूम काम के लिए लोकल, सबसे मुश्किल सवालों के लिए होस्टेड, और यह तय करने वाली एक नीति है कि कौन-सा कौन-सा है — यही तो एक राउटर का मक़सद है।

अक्सर पूछे जाने वाले सवाल

मुझे कौन-सा हार्डवेयर चाहिए?

यह पूरी तरह मॉडल के आकार और क्वांटाइज़ेशन पर निर्भर करता है, और जो कोई एक अकेला नंबर बताए वह अंदाज़ा लगा रहा है। सबसे हावी शर्त है उपलब्ध मेमोरी: वेट्स फ़िट होने चाहिए, और जो फ़िट होता है वही तय करता है आप क्या चला सकते हैं।

क्या लोकल AI परिभाषा से ही प्राइवेट है?

मॉडल कॉल है। बाक़ी ऐप शायद न हो: सर्च, टेलीमेट्री, और दूसरे इंटीग्रेशन अब भी बाहर जा सकते हैं। प्राइवेसी पूरे सिस्टम की ख़ासियत है, किसी एक हिस्से की नहीं।

क्या लोकल मॉडल मेरे दस्तावेज़ इस्तेमाल कर सकते हैं?

हाँ। रिट्रीवल उसी तरह काम करता है, और जब रिट्रीवल और मॉडल दोनों लोकल हों, तो दस्तावेज़ किसी भी पल आपके हार्डवेयर को नहीं छोड़ते।