कॉन्टेक्स्ट विंडो क्या है?

यह मेमोरी नहीं है

मॉडल को आपकी पिछली बातचीत याद नहीं रहती। मेमोरी का भ्रम इसलिए पैदा होता है क्योंकि ऐप हर नई रिक्वेस्ट के साथ पहले के मैसेज दोबारा भेज देता है। विंडो एक कॉल के लिए काम की जगह है, स्टोरेज नहीं।

इसका सीधा नतीजा लोग हैरानी के तौर पर पाते हैं: लंबी बातचीत हर मैसेज के साथ महँगी होती जाती है, क्योंकि हर बार पूरा इतिहास दोबारा भेजा और दोबारा चार्ज किया जाता है।

भरी हुई विंडो अच्छे इस्तेमाल की गई विंडो नहीं है

बड़ी विंडो एक सहूलियत है, कोई लक्ष्य नहीं। मॉडल लंबे कॉन्टेक्स्ट में असमान रूप से ध्यान देते हैं: बहुत लंबे इनपुट के बीच में मौजूद सामग्री दोनों सिरों की सामग्री से ज़्यादा हल्के में ली जा सकती है।

व्यवहार में केंद्रित दस पन्ने अक्सर बिखरे दो सौ पन्नों से बेहतर होते हैं। रिट्रीवल इसीलिए मौजूद है — वे दस पन्ने चुनने के लिए, न कि सब कुछ भेजकर उम्मीद लगाने के लिए।

यह लागत कैसे बढ़ाता है

लगभग सभी प्रोवाइडर टोकन के हिसाब से चार्ज करते हैं, इनपुट और आउटपुट अलग-अलग, और इनपुट आमतौर पर सस्ता होता है। किसी लंबी बातचीत के हर मैसेज से जुड़ा बड़ा दस्तावेज़ हर मैसेज पर चार्ज होता है, एक बार नहीं।

यह किसी हैरान कर देने वाले बिल की सबसे आम वजह है, और इसका इलाज संरचनात्मक है: सवाल को जो चाहिए वह जोड़ें, हर वह चीज़ नहीं जो शायद काम की हो।

अक्सर पूछे जाने वाले सवाल

क्या बड़ी विंडो हमेशा बेहतर होती है?

यह एक सीमा हटाती है, जो अच्छी बात है, पर मॉडल जो मिलता है उसे कितनी अच्छी तरह इस्तेमाल करता है, यह नहीं सुधारती। बड़ी विंडो मुख्यतः आपको ज़्यादा महँगी ग़लती करने की सहूलियत ख़रीदती है।

टोकन क्या है?

लगभग किसी शब्द का एक हिस्सा। अंग्रेज़ी में एक टोकन के लिए लगभग तीन-चौथाई शब्द बनता है, तो हज़ार टोकन तक़रीबन सात सौ पचास शब्द होते हैं — पर यह भाषा के हिसाब से काफ़ी बदलता है, और ग़ैर-लैटिन लिपियाँ अक्सर हर शब्द पर ज़्यादा टोकन ख़र्च करती हैं।

अगर मैं इसे पार कर दूँ तो क्या होता है?

रिक्वेस्ट फ़ेल हो जाती है, या ऐप चुपचाप सबसे पुराने मैसेज हटा देता है। दूसरा वाला ज़्यादा आम और ज़्यादा उलझन भरा है, क्योंकि लगता है मॉडल आपकी कही कोई बात भूल गया है।