AI हैलुसिनेट क्यों करता है?

यह एक भरोसेमंद गलत जवाब है, कोई ऐसी ग़लती नहीं जिसे मॉडल बता सके

मॉडल के पास "मुझे नहीं पता" कहने का कोई अलग मोड नहीं होता जिस पर वह वापस जा सके। हर जवाब, सही हो या गलत, उसी अगले-टोकन-अनुमान प्रक्रिया से आता है, इसलिए एक गढ़ा हुआ हवाला या ऐसी API मेथड जो असल में मौजूद ही नहीं, सही जवाब जितने ही भरोसे से सुनाई देती है। यही चीज़ हैलुसिनेशन को एक सामान्य सॉफ़्टवेयर बग से अलग बनाती है — कोई एक्सेप्शन नहीं फेंका जाता, कोई फ़्लैग नहीं उठता, पकड़ने के लिए कुछ नहीं होता। नतीजा सही हो या गलत, दोनों ही सूरतों में एक जैसा भरोसेमंद दिखता है।

यह क्यों होता है: अनुमान, न कि खोज

लैंग्वेज मॉडल को टेक्स्ट के संभावित आगे बढ़ने का अनुमान लगाने के लिए ट्रेन किया जाता है, जो उसके ट्रेनिंग डेटा के पैटर्न से सीखा गया होता है। यह डेटाबेस की तरह तथ्यों को किसी ढूँढ़ी और जाँची जा सकने वाली शक्ल में नहीं रखता — यह भाषा की सांख्यिकीय बनावट रखता है, जिसमें वे तथ्य भी शामिल हैं जो ट्रेनिंग में इतनी बार आए कि उस बनावट को गढ़ गए। जब कोई प्रॉम्प्ट ऐसी चीज़ माँगता है जो मॉडल ने कम देखी, बेमेल ढंग से देखी, या कभी देखी ही नहीं, तो मॉडल जवाब देने से मना नहीं करता; वह फिर भी सबसे संभावित आगे बढ़त बना देता है, क्योंकि यही एक काम है जो उसे आता है।

यही वजह है कि हैलुसिनेशन खास, दुर्लभ या हाल की जानकारी पर और बिगड़ जाता है — कोई अदालती मामला जो असली जैसा लगता है पर गढ़ा हुआ है, कोई संभावित पर गलत वर्ज़न नंबर, कोई हवाला जो असली रिसर्च पेपर के शीर्षक जैसा लगता है। दावा जितना खास होगा, उतनी ही ज़्यादा संभावना है कि मॉडल किसी खाली जगह को सिर्फ़ संभावित लगने वाली किसी चीज़ से भर रहा है, न कि किसी जानी हुई चीज़ से।

ग्राउंडिंग फ़ासला घटाती है, उसे मिटाती नहीं

मॉडल के जवाब देने से पहले उसके आगे असली स्रोत टेक्स्ट रखना — रिट्रीवल, देखें RAG क्या है — उन सवालों पर हैलुसिनेशन को नापने लायक़ हद तक घटा देता है जिन्हें वे स्रोत असल में कवर करते हैं, क्योंकि मॉडल सिर्फ़ ट्रेनिंग डेटा से अनुमान लगाने के बजाय अभी पढ़ी गई बात दोहरा सकता है। पर यह एक मज़बूत रुझान है, गारंटी नहीं: अगर रिट्रीवल कुछ काम का न लौटाए, या स्रोत अधूरे हों, तो मॉडल यह मानने के बजाय कि स्रोतों से मदद नहीं मिली, फिर भी याददाश्त से रवाँ जवाब दे सकता है।

कई मॉडलों को मिलाकर जाँचना एक फ़िल्टर है, इलाज नहीं

एक ही सवाल कई मॉडलों से पूछना और जवाबों की तुलना करना उन हैलुसिनेशन को पकड़ लेता है जो किसी एक मॉडल की ट्रेनिंग या उसकी अपनी खासियतों से जुड़े हैं — अगर तीन में से सिर्फ़ एक मॉडल कोई बात गढ़ता है, तो यह असहमति एक संकेत है। पर यह उस हैलुसिनेशन को नहीं पकड़ता जो ज़्यादातर मॉडल साझा करते हैं, क्योंकि अलग-अलग कंपनियों का ट्रेनिंग डेटा एक-दूसरे से मिलता-जुलता होता है। यही सीमा किसी अलग मॉडल को जज बनाकर जवाब को नंबर देने पर भी लागू होती है: जज मॉडल भी उसी तरह के रवाँ, भरोसेमंद, गलत टेक्स्ट से धोखा खा सकता है जिसे उसे जाँचना है।

व्यवहार में असल में क्या चीज़ हैलुसिनेशन घटाती है

कोई अकेली तकनीक हैलुसिनेशन को खत्म नहीं करती, क्योंकि यह इस बात की एक ख़ासियत है कि ये मॉडल टेक्स्ट कैसे बनाते हैं, न कि किसी एक मॉडल या कंपनी की ग़लती। जो चीज़ नापने लायक़ फ़र्क़ डालती है वह है मॉडल के काम को सीमित करना: जिन सवालों को स्रोत कवर करते हैं उनके जवाबों को रिट्रीव किए गए स्रोत टेक्स्ट में जमाना, खुले सवालों के बजाय सवालों को खास रखना, और मॉडल के अपने हवालों, आंकड़ों और खास ब्योरों को पहले से जाँचे हुए तथ्यों की तरह नहीं बल्कि जाँचे जाने वाले दावों की तरह लेना। तकनीकों को मिलाना — ग्राउंडिंग, कई मॉडलों की जाँच और किसी स्रोत के मुक़ाबले पुष्टि, सब साथ — किसी एक अकेली तकनीक से ज़्यादा गलती की गुंजाइश घटाता है।

रैंडमनेस घटाने से यह क्यों नहीं सुधरता

एक आम धारणा है कि टेम्परेचर घटाने (देखें टेम्परेचर और top-p) से मॉडल ज़्यादा सच्चा बन जाता है, क्योंकि नतीजा ज़्यादा सावधान और तय-सा दिखता है। टेम्परेचर यह तय करता है कि मॉडल संभावित अगले टोकनों में से कैसे चुनता है — यह इस बात को नहीं बदलता कि मॉडल क्या जानता है, और न ही कोई तथ्य-जाँच का कदम जोड़ता है। मॉडल टेम्परेचर शून्य पर भी उतने ही भरोसे से हैलुसिनेट कर सकता है जितना टेम्परेचर एक पर करता है; कम सेटिंग बस उसे वही गलत जवाब ज़्यादा लगातार दोहराने पर मजबूर करती है।

अक्सर पूछे जाने वाले सवाल

क्या हैलुसिनेशन को पूरी तरह ठीक किया जा सकता है?

नहीं, मौजूदा लैंग्वेज मॉडल आर्किटेक्चर के साथ नहीं। यह इस बात से आता है कि ये मॉडल टेक्स्ट कैसे बनाते हैं — तथ्य जाँचने के बजाय संभावित आगे बढ़त का अनुमान लगाना — इसलिए इसे ग्राउंडिंग, कई मॉडलों की जाँच और पुष्टि से घटाया जा सकता है, पर एक श्रेणी के रूप में मिटाया नहीं जा सकता।

क्या बड़ा या नया मॉडल कम हैलुसिनेट करता है?

आम जानकारी पर अक्सर कम, क्योंकि उसका ज़्यादा हिस्सा ट्रेनिंग में अच्छे से मौजूद था। पर यह मूल तंत्र को नहीं मिटाता — कोई नया मॉडल भी दुर्लभ, खास या हाल की उन बातों पर भरोसे से हैलुसिनेट कर सकता है जिन पर उसे ठीक से ट्रेन नहीं किया गया।

क्या हैलुसिनेशन और मॉडल का झूठ बोलना एक ही बात है?

नहीं। झूठ बोलने का मतलब है सच जानते हुए भी कुछ और कहना। मॉडल के पास "सच" के लिए कोई अलग रास्ता नहीं है जिससे वह अपने जवाब को मिला सके — वह सांख्यिकीय रूप से सबसे संभावित आगे बढ़त बना देता है, चाहे वह सही निकले या नहीं।

क्या मॉडल को अपने दस्तावेज़ देने से हैलुसिनेशन रुक जाता है?

उन सवालों पर यह इसे काफ़ी घटा देता है जिनका जवाब वे दस्तावेज़ असल में देते हैं, क्योंकि मॉडल सिर्फ़ ट्रेनिंग डेटा से अनुमान लगाने के बजाय रिट्रीव किए गए टेक्स्ट को दोहरा सकता है। पर यह मॉडल को याददाश्त से रवाँ जवाब देने से नहीं रोकता जब रिट्रीवल को कुछ काम का नहीं मिलता।