การตรวจสอบคำตอบ AI คืออะไร?

ความเป็นอิสระคือแนวคิดทั้งหมด

หากโมเดลกุข้อเท็จจริงขึ้นจากบางอย่างในการฝึกของมัน การถามโมเดลตัวเดียวกันว่าข้อเท็จจริงนั้นจริงหรือไม่ก็คือการปรึกษาแหล่งเดียวกับที่กุมันขึ้นมา การตรวจสอบและข้อผิดพลาดมีสาเหตุร่วมกัน ดังนั้นการตรวจสอบจึงผ่าน

ผู้ตรวจสอบที่มีประโยชน์เปลี่ยนบางอย่าง โมเดลอื่น การค้นหาในเอกสารจริง คอมไพเลอร์ ชุดการทดสอบ ตัวตรวจสอบสคีมา ยิ่งผู้ตรวจสอบแตกต่างจากตัวสร้างมากเท่าไร มันก็จับได้มากขึ้นเท่านั้น

ชนิดของการตรวจสอบ จากอ่อนไปแข็ง

การทบทวนตัวเอง: โมเดลอ่านคำตอบของตัวเองซ้ำ ราคาถูก จับส่วนใหญ่ในเรื่องการจัดรูปแบบและความขัดแย้งภายใน การทบทวนข้ามโมเดล: โมเดลอื่นตรวจสอบ ดีกว่า จับข้อผิดพลาดที่เฉพาะกับตัวแรกได้ การค้นคืน: ข้อกล่าวอ้างถูกเทียบกับเอกสารที่ค้นมาได้ แข็งแกร่งสำหรับข้อกล่าวอ้างเชิงข้อเท็จจริง การรันจริง: โค้ดทำงาน สคีมาผ่านการตรวจสอบ การทดสอบผ่าน แข็งแกร่งที่สุด และมีให้ใช้เฉพาะเมื่อคำตอบรันได้จริง

รูปแบบคือความแข็งแกร่งเดินตามความเป็นอิสระจากโมเดล ในขณะที่ความพร้อมใช้งานเดินไปในทิศทางตรงข้าม การตรวจสอบที่แข็งแกร่งที่สุดมีอยู่เฉพาะบางประเภทของงานเท่านั้น

การตรวจสอบและการซ่อมแซม

ผู้ตรวจสอบที่แค่รายงานปัญหาปล่อยให้คุณอยู่ที่เดิม ในทางปฏิบัติการตรวจสอบมักถูกจับคู่กับการซ่อมแซม: ความล้มเหลวและเหตุผลของมันกลับไปยังโมเดล ซึ่งสร้างคำตอบที่แก้ไขแล้ว ซึ่งถูกตรวจสอบอีกครั้ง

วงจรนี้ต้องมีขีดจำกัด หากไม่มี โมเดลที่แก้ปัญหาไม่ได้จะยังคงสร้างรูปแบบต่างๆ ของข้อผิดพลาดเดิมด้วยราคาเต็ม

คำถามที่พบบ่อย

การขอให้โมเดลตรวจสอบซ้ำช่วยไหม?

ช่วยเล็กน้อย และส่วนใหญ่สำหรับความไม่สอดคล้องภายในมากกว่าข้อผิดพลาดเชิงข้อเท็จจริง มันเป็นรูปแบบการตรวจสอบที่อ่อนแอที่สุดและง่ายที่สุดที่จะเชื่อมั่นเกินไป

การตรวจสอบด้วยการค้นคืนเหมือนกับ RAG ไหม?

พวกมันใช้กลไกเดียวกันในทิศทางตรงกันข้าม RAG ค้นคืนก่อนสร้าง เพื่อให้ข้อมูลกับคำตอบ การตรวจสอบด้วยการค้นคืนค้นหลังจากนั้น เพื่อตรวจสอบมัน

ความพยายามซ่อมแซมกี่ครั้งจึงสมเหตุสมผล?

หนึ่งหรือสองครั้ง หากโมเดลไม่แก้ไขได้ภายในความพยายามครั้งที่สอง ความพยายามถัดไปมักเป็นการพูดซ้ำข้อผิดพลาดเดิม และควรให้มนุษย์ดู