ทำไม AI จึงเกิดอาการหลอน (hallucinate)?

มันคือคำตอบผิดที่มั่นใจ ไม่ใช่ข้อผิดพลาดที่โมเดลจะแจ้งเตือนได้

โมเดลไม่มีโหมด "ฉันไม่รู้" แยกต่างหากให้สลับไปใช้ ทุกคำตอบ ไม่ว่าจะถูกหรือผิด ล้วนมาจากกระบวนการทำนายโทเค็นถัดไปแบบเดียวกัน ดังนั้นการอ้างอิงที่กุขึ้นมาหรือเมธอด API ที่ไม่มีอยู่จริงจึงฟังดูมั่นใจลื่นไหลไม่ต่างจากคำตอบที่ถูกต้อง นี่คือสิ่งที่ทำให้อาการหลอนต่างจากบั๊กซอฟต์แวร์ทั่วไป ไม่มี exception ถูกโยน ไม่มีสัญญาณใดถูกยกขึ้น ไม่มีอะไรให้ดักจับ ผลลัพธ์ดูน่าเชื่อถือเท่ากันไม่ว่าจะถูกหรือผิด

ทำไมจึงเกิดขึ้น: การทำนาย ไม่ใช่การค้นหา

โมเดลภาษาถูกฝึกให้ทำนายส่วนต่อขยายของข้อความที่เป็นไปได้ โดยเรียนรู้จากรูปแบบในข้อมูลฝึกของมัน มันไม่ได้เก็บข้อเท็จจริงในรูปแบบที่ค้นคืนและตรวจสอบได้เหมือนฐานข้อมูล แต่เก็บรูปทรงทางสถิติของภาษา รวมถึงข้อเท็จจริงที่พบบ่อยพอในการฝึกจนหล่อหลอมรูปทรงนั้นขึ้นมา เมื่อพรอมต์ขอสิ่งที่โมเดลเห็นน้อยครั้ง เห็นแบบไม่สอดคล้องกัน หรือไม่เคยเห็นเลย โมเดลจะไม่ปฏิเสธที่จะตอบ แต่จะสร้างส่วนต่อขยายที่น่าจะเป็นไปได้มากที่สุดขึ้นมาอยู่ดี เพราะนั่นคือสิ่งเดียวที่มันทำเป็น

นี่ยังอธิบายด้วยว่าทำไมอาการหลอนจึงแย่ลงกับรายละเอียดที่เจาะจง หายาก หรือใหม่ล่าสุด เช่น คดีความที่ฟังดูจริงแต่กุขึ้นมา หมายเลขเวอร์ชันที่ดูสมเหตุสมผลแต่ผิด การอ้างอิงที่ฟังดูเหมือนชื่อบทความวิจัยจริง ยิ่งข้อความเจาะจงมากเท่าไร ยิ่งมีโอกาสมากขึ้นที่โมเดลกำลังเติมช่องว่างด้วยสิ่งที่ดูสมเหตุสมผลเท่านั้น ไม่ใช่สิ่งที่รู้จริง

การอ้างอิงแหล่งข้อมูลช่วยลดช่องว่าง แต่ไม่ปิดมันสนิท

การนำข้อความต้นฉบับจริงมาวางไว้ตรงหน้าโมเดลก่อนที่มันจะตอบ นั่นคือการดึงข้อมูล ดูว่า RAG คืออะไร ช่วยลดอาการหลอนได้อย่างวัดผลได้ในคำถามที่แหล่งข้อมูลเหล่านั้นครอบคลุมจริง เพราะโมเดลสามารถพูดซ้ำสิ่งที่เพิ่งอ่านแทนการทำนายจากข้อมูลฝึกเพียงอย่างเดียว แต่นี่เป็นแนวโน้มที่แข็งแรง ไม่ใช่การรับประกัน หากการดึงข้อมูลไม่คืนอะไรที่เป็นประโยชน์ หรือแหล่งข้อมูลไม่ครบถ้วน โมเดลก็ยังคงตอบได้อย่างลื่นไหลจากความจำแทนที่จะยอมรับว่าแหล่งข้อมูลไม่ช่วยอะไร

การไขว้ตรวจสอบหลายโมเดลเป็นตัวกรอง ไม่ใช่วิธีรักษา

การถามคำถามเดียวกันกับหลายโมเดลแล้วเปรียบเทียบคำตอบช่วยจับอาการหลอนที่เฉพาะเจาะจงกับการฝึกหรือลักษณะเฉพาะของโมเดลใดโมเดลหนึ่งได้ หากมีเพียงหนึ่งในสามโมเดลที่กุรายละเอียดขึ้นมา ความไม่ตรงกันนั้นคือสัญญาณ แต่มันจับอาการหลอนที่โมเดลส่วนใหญ่มีร่วมกันไม่ได้ เพราะข้อมูลฝึกของผู้ให้บริการต่างๆ ทับซ้อนกัน ข้อจำกัดเดียวกันนี้ใช้กับการใช้โมเดลแยกต่างหากเป็นผู้ตัดสินเพื่อให้คะแนนคำตอบด้วย โมเดลผู้ตัดสินอาจถูกหลอกด้วยข้อความที่ลื่นไหล มั่นใจ และผิดแบบเดียวกันกับที่มันควรจะตรวจสอบ

สิ่งที่ลดอาการหลอนได้จริงในทางปฏิบัติ

ไม่มีเทคนิคเดียวที่กำจัดอาการหลอนได้หมด เพราะมันเป็นคุณสมบัติของวิธีที่โมเดลเหล่านี้สร้างข้อความ ไม่ใช่ข้อบกพร่องเฉพาะของโมเดลหรือผู้ให้บริการรายใดรายหนึ่ง สิ่งที่ช่วยได้อย่างวัดผลได้คือการจำกัดขอบเขตงานของโมเดล การอ้างอิงคำตอบกับข้อความต้นฉบับที่ดึงมาสำหรับคำถามที่แหล่งข้อมูลครอบคลุม การทำให้คำขอเจาะจงแทนที่จะเปิดกว้าง และการปฏิบัติต่อการอ้างอิง ตัวเลข และรายละเอียดเฉพาะของโมเดลเองเป็นข้อความที่ต้องตรวจสอบ ไม่ใช่ข้อเท็จจริงที่ตรวจสอบแล้ว การผสมผสานเทคนิคเหล่านี้เข้าด้วยกัน ทั้งการอ้างอิงแหล่งข้อมูล การไขว้ตรวจสอบโมเดล และการตรวจสอบกับแหล่งข้อมูล ช่วยลดพื้นที่ของความผิดพลาดได้มากกว่าใช้เทคนิคใดเทคนิคหนึ่งเพียงอย่างเดียว

ทำไมการลดความสุ่มจึงไม่แก้ปัญหานี้

เป็นข้อสันนิษฐานทั่วไปว่าการลดค่าอุณหภูมิ (ดู อุณหภูมิและ top-p) ทำให้โมเดลพูดความจริงมากขึ้น เพราะผลลัพธ์ดูระมัดระวังและแน่นอนขึ้น อุณหภูมิควบคุมวิธีที่โมเดลสุ่มเลือกจากโทเค็นถัดไปที่น่าจะเป็นไปได้ มันไม่ได้เปลี่ยนสิ่งที่โมเดลรู้หรือเพิ่มขั้นตอนตรวจสอบข้อเท็จจริงใดๆ โมเดลสามารถเกิดอาการหลอนที่อุณหภูมิศูนย์ได้ด้วยความมั่นใจเท่ากับที่อุณหภูมิหนึ่ง การตั้งค่าที่ต่ำกว่าเพียงแค่ทำให้มันหลอนคำตอบที่ผิดเดิมซ้ำๆ อย่างสม่ำเสมอมากขึ้นเท่านั้น

คำถามที่พบบ่อย

แก้อาการหลอนให้หายขาดได้ไหม?

ไม่ได้ ไม่ใช่ด้วยสถาปัตยกรรมโมเดลภาษาในปัจจุบัน มันเกิดจากวิธีที่โมเดลเหล่านี้สร้างข้อความ คือการทำนายส่วนต่อขยายที่น่าจะเป็นไปได้แทนการตรวจสอบข้อเท็จจริง จึงลดได้ด้วยการอ้างอิงแหล่งข้อมูล การไขว้ตรวจสอบโมเดล และการตรวจสอบ แต่กำจัดออกไปทั้งหมดในฐานะประเภทหนึ่งไม่ได้

โมเดลที่ใหญ่กว่าหรือใหม่กว่าหลอนน้อยกว่าไหม?

มักน้อยกว่าในความรู้ทั่วไป เพราะข้อมูลส่วนใหญ่ถูกนำเสนออย่างดีในการฝึก แต่สิ่งนี้ไม่ได้กำจัดกลไกพื้นฐาน โมเดลที่ใหม่กว่ายังคงหลอนได้อย่างมั่นใจในรายละเอียดที่หายาก เจาะจง หรือใหม่ล่าสุดที่ไม่ได้ถูกฝึกมาอย่างดี

อาการหลอนเหมือนกับการที่โมเดลโกหกหรือไม่?

ไม่เหมือน การโกหกหมายถึงการรู้ความจริงแล้วพูดตรงกันข้าม โมเดลไม่มีช่องทางแยกต่างหากสำหรับ "ความจริง" ให้เปรียบเทียบผลลัพธ์ของมันด้วย มันสร้างส่วนต่อขยายที่น่าจะเป็นไปได้มากที่สุดทางสถิติ ไม่ว่าผลลัพธ์นั้นจะถูกต้องหรือไม่ก็ตาม

การให้เอกสารของตัวเองแก่โมเดลช่วยหยุดอาการหลอนได้ไหม?

ช่วยลดได้มากในคำถามที่เอกสารเหล่านั้นตอบได้จริง เพราะโมเดลสามารถพูดซ้ำข้อความที่ดึงมาแทนการทำนายจากข้อมูลฝึกเพียงอย่างเดียว แต่ไม่ได้ป้องกันไม่ให้โมเดลตอบอย่างลื่นไหลจากความจำเมื่อการดึงข้อมูลไม่พบสิ่งที่เกี่ยวข้อง