Prompting เทียบกับ RAG เทียบกับ Fine-tuning: ต่างกันอย่างไร

สามทางแก้ที่แตกต่างกันสำหรับสามปัญหาที่แตกต่างกัน

Prompting เปลี่ยนสิ่งที่คุณบอกโมเดลสำหรับคำขอหนึ่งครั้ง ได้แก่ คำสั่ง ตัวอย่าง กฎการจัดรูปแบบ การสร้างเสริมด้วยการค้นคืน หรือ RAG เปลี่ยนสิ่งที่โมเดลมองเห็นสำหรับคำขอหนึ่งครั้ง โดยการค้นคืนเนื้อหาที่เกี่ยวข้องแล้วเพิ่มเข้าไปในบริบท ดูที่ RAG คืออะไร เพื่อทำความเข้าใจว่าขั้นตอนการค้นคืนนี้ทำงานอย่างไร Fine-tuning เปลี่ยนตัวโมเดลเอง โดยปรับค่าน้ำหนักเพื่อให้รูปแบบหนึ่งฝังอยู่ในตัวและพร้อมใช้งานโดยไม่ต้องพูดซ้ำทุกครั้ง สิ่งเหล่านี้ไม่ใช่สามระดับความยากของทางแก้เดียวกัน แต่ตอบสนองต่อช่องว่างสามประเภทที่ต่างกัน

Prompting เปลี่ยนแค่คำขอที่อยู่ตรงหน้าเท่านั้น

พรอมต์ประกอบด้วยคำสั่ง ตัวอย่าง และข้อจำกัดที่รวมอยู่ในคำขอเดียว ไม่มีอะไรคงอยู่หลังจากคำตอบกลับมาแล้ว คำขอถัดไปจะเริ่มจากหน้ากระดาษเปล่าเดิมเว้นแต่คุณจะใส่คำสั่งเดิมซ้ำอีกครั้ง สิ่งนี้ทำให้ prompting เป็นเทคนิคที่ถูกที่สุดและเร็วที่สุดในการทำซ้ำ การเปลี่ยนถ้อยคำสามารถทดสอบได้ในไม่กี่วินาที โดยไม่ต้องมีโครงสร้างพื้นฐานหรือการฝึกใหม่

Prompting ยังเป็นสิ่งแรกที่ควรลองให้หมดก่อนหันไปใช้อย่างอื่น ปัญหาจำนวนมากที่ดูเหมือนว่า "โมเดลไม่รู้วิธีทำ X" แท้จริงแล้วเป็นปัญหา "คำสั่งไม่เคยบอกให้ทำ X" ต่างหาก

RAG เพิ่มข้อเท็จจริงและเอกสารโดยไม่แตะต้องโมเดล

RAG แก้ปัญหาที่แตกต่างออกไป นั่นคือข้อมูลที่โมเดลไม่เคยถูกฝึกด้วย หรือข้อมูลที่เปลี่ยนแปลงเร็วเกินกว่าการฝึกจะตามทัน เช่น เอกสารของคุณเอง บันทึกปัจจุบัน หรือสิ่งใดก็ตามที่เป็นส่วนตัว แทนที่จะสอนข้อมูลนั้นให้โมเดล ขั้นตอนการค้นคืนจะหาข้อความที่เกี่ยวข้องแล้ววางลงในคำขอโดยตรงในรูปบริบท โดยใช้ embedding ในการค้นหาด้วยความหมายแทนที่จะเป็นถ้อยคำที่ตรงกันเป๊ะ ดูที่ embedding คืออะไร เพื่อทำความเข้าใจว่าการค้นหานี้ทำงานอย่างไรเบื้องหลัง

เนื่องจากไม่มีอะไรในโมเดลเปลี่ยนแปลง การอัปเดตเอกสารต้นทางจะอัปเดตสิ่งที่ระบบตอบได้ทันที โดยไม่ต้องมีขั้นตอนการฝึกใหม่เลย ข้อแลกเปลี่ยนคือคุณภาพของคำตอบถูกจำกัดด้วยคุณภาพของการค้นคืน หากไม่เคยพบข้อความที่ถูกต้อง โมเดลก็ไม่สามารถใช้ข้อมูลที่ไม่เคยเห็นได้

Fine-tuning เปลี่ยนตัวโมเดลเอง

Fine-tuning ปรับค่าน้ำหนักของโมเดลโดยใช้ตัวอย่างการฝึกเพิ่มเติม เพื่อให้รูปแบบพฤติกรรม เช่น น้ำเสียง รูปแบบคำตอบ หรือทักษะเฉพาะทางที่แสดงในตัวอย่าง กลายเป็นส่วนหนึ่งของโมเดลแทนที่จะเป็นสิ่งที่ต้องพูดซ้ำในทุกพรอมต์หรือจัดหาผ่านการค้นคืน เมื่อฝึกเสร็จแล้ว โมเดลจะทำงานแบบนั้นโดยค่าเริ่มต้น ในทุกคำขอ โดยไม่ต้องมีคำสั่งเพิ่มเติม

มันยังมีต้นทุนจริงที่ prompting และ RAG ไม่มี ตัวอย่างการฝึกต้องถูกเตรียมและคัดสรร ต้องรันและประเมินรอบการฝึก และผลลัพธ์คือชิ้นงานโมเดลเฉพาะที่ต้องโฮสต์และซิงค์ให้ทันเมื่อโมเดลพื้นฐานพัฒนาขึ้น Fine-tuning ก็ไม่ได้เพิ่มข้อเท็จจริงที่มีชีวิตหรือเปลี่ยนแปลงได้เช่นกัน มันฝังรูปแบบจากชุดข้อมูลฝึกที่ตายตัว และล้าสมัยไปเหมือนการฝึกแบบคงที่ทั่วไป

จับคู่เทคนิคกับความล้มเหลวจริง ไม่ใช่ตัวเลือกที่หรูหราที่สุด

น้ำเสียงผิด รูปแบบผิด คำสั่งถูกมองข้าม มักเป็นปัญหาของ prompting ข้อเท็จจริงผิดหรือขาดหาย โดยเฉพาะเกี่ยวกับเนื้อหาของตัวเองหรือที่เปลี่ยนแปลงเร็ว มักเป็นปัญหาของการค้นคืน พฤติกรรมเฉพาะทางที่คุณต้องการให้เกิดขึ้นสม่ำเสมอในทุกคำขอโดยไม่ต้องอธิบายซ้ำทุกครั้ง คือกรณีที่ fine-tuning ถูกสร้างมาเพื่อสิ่งนี้จริงๆ สิ่งเหล่านี้ไม่ได้แยกจากกันโดยสิ้นเชิง โมเดลที่ fine-tune แล้วยังคงรับพรอมต์และบริบทที่ค้นคืนมาได้ แต่แต่ละวิธีแก้ได้เฉพาะความล้มเหลวที่มันถูกสร้างมาเพื่อแก้เท่านั้น และการใช้วิธีที่ผิดจะทำให้ปัญหาจริงยังไม่ได้รับการแก้ไขในขณะที่เพิ่มต้นทุนและความซับซ้อน

ทำไมหลายผลิตภัณฑ์จึงไม่เคยหันไปใช้ fine-tuning เลย

Prompting และ RAG ต่างทิ้งโมเดลพื้นฐานไว้โดยไม่แตะต้อง ดังนั้นการอัปเกรดไปยังโมเดลพื้นฐานที่ใหม่กว่าหรือดีกว่ามักเป็นแค่การเปลี่ยนการตั้งค่าเท่านั้น โมเดลที่ fine-tune แล้วจะผูกติดกับโมเดลพื้นฐานที่มันถูกฝึกมา การอัปเกรดโมเดลพื้นฐานที่มีนัยสำคัญมักหมายถึงการเตรียมข้อมูลใหม่และฝึกใหม่แทนที่จะสลับได้ง่ายๆ ด้วยเหตุนี้หลายผลิตภัณฑ์จึงแก้ปัญหาทั้งหมดด้วย prompting บวกการค้นคืน และหันไปใช้ fine-tuning ก็ต่อเมื่อพฤติกรรมเฉพาะที่นิยามไว้ชัดเจนต้องคงเส้นคงวาในปริมาณคำขอมหาศาลโดยไม่มีต้นทุนของการพูดซ้ำคำสั่งและบริบททุกครั้ง

คำถามที่พบบ่อย

RAG อัปเดตความรู้ของโมเดลอย่างถาวรหรือไม่

ไม่ RAG เปลี่ยนสิ่งที่รวมอยู่ในบริบทของคำขอหนึ่งครั้งเท่านั้น โมเดลพื้นฐานไม่เคยถูกปรับเปลี่ยนเลย คำขอถัดไปที่ไม่ได้ค้นคืนเนื้อหาเดียวกันจะเริ่มโดยไม่มีมัน เหมือนพรอมต์อื่นๆ ทุกประการ

Fine-tuning แม่นยำกว่า prompting หรือ RAG เสมอไปหรือไม่

ไม่ Fine-tuning ฝังรูปแบบจากตัวอย่างการฝึกของมัน แต่ไม่ได้เพิ่มข้อเท็จจริงที่ขาดหายไปจากข้อมูลฝึกนั้น และไม่ได้ทำให้ข้อเท็จจริงทันสมัยอยู่เสมอแบบที่การค้นคืนทำได้ โมเดลที่ fine-tune แล้วยังคงอาจผิดพลาดอย่างมั่นใจในเรื่องใดก็ตามที่อยู่นอกเหนือการฝึกของมัน

Prompting, RAG และ fine-tuning รวมกันได้หรือไม่

ได้ เพราะแต่ละวิธีเปลี่ยนส่วนที่ต่างกันของระบบ ดังนั้นโมเดลที่ fine-tune แล้วยังคงรับบริบทที่ค้นคืนมาและคำสั่งชัดเจนในคำขอเดียวกันได้ การรวมกันเป็นเรื่องปกติ ไม่จำเป็นต้องมองว่าเป็นตัวเลือกที่แยกจากกันโดยสิ้นเชิง

ควรลองอะไรก่อน

แทบทุกครั้งควรลอง prompting ก่อน เพราะไม่ต้องใช้โครงสร้างพื้นฐานและสามารถทดสอบการเปลี่ยนถ้อยคำได้ในไม่กี่วินาที ย้ายไปใช้การค้นคืนเมื่อช่องว่างคือข้อมูลที่ขาดหายหรือล้าสมัย และพิจารณา fine-tuning ก็ต่อเมื่อพฤติกรรมเฉพาะที่นิยามไว้ชัดเจนต้องคงเส้นคงวาในปริมาณคำขอที่มากพอจะคุ้มกับต้นทุนการฝึกและการดูแลรักษา