การสุ่มตัวอย่างแบบดีที่สุดจาก N คืออะไร?

ทำไมมันจึงได้ผล

ผลลัพธ์ของโมเดลภาษาถูกสุ่มตัวอย่าง ไม่ใช่แน่นอนตายตัว การรันสองครั้งของพรอมป์ต์เดียวกันให้คำตอบต่างกันที่มีคุณภาพต่างกัน หากคำตอบที่ดีของโมเดลมีมากกว่าคำตอบที่แย่ การนำตัวอย่างหลายอันมาจะเพิ่มโอกาสที่อย่างน้อยหนึ่งอันจะดี

นั่นคือกลไกทั้งหมด มันไม่ได้ทำให้โมเดลฉลาดขึ้น แต่ให้โอกาสมากขึ้นบนความสามารถที่มันมีอยู่แล้ว

การเลือกผู้ชนะคือส่วนที่ยาก

การสร้างผู้สมัครทำได้ง่าย การเลือกระหว่างพวกมันคือปัญหาที่แท้จริง และเป็นที่ที่คุณค่าส่วนใหญ่ของเทคนิคนี้และความล้มเหลวส่วนใหญ่อยู่

การเลือกด้วยการตรวจสอบอัตโนมัติ — คอมไพล์ได้ไหม ผ่านการทดสอบไหม เป็นไปตามสคีมาไหม — เชื่อถือได้ที่สุดอย่างชัดเจน เพราะการตรวจสอบเป็นอิสระจากโมเดล การเลือกด้วยโมเดลอื่นคือผู้ตัดสิน พร้อมข้อควรระวังทั้งหมดในหน้านั้น การเลือกด้วยมนุษย์แม่นยำที่สุดแต่ขยายขนาดได้น้อยที่สุด

การเลือก N

ผลตอบแทนลดลงอย่างรวดเร็ว การไปจากหนึ่งผู้สมัครเป็นสามคือการปรับปรุงครั้งใหญ่ จากสามเป็นสิบคือการปรับปรุงเล็กน้อยที่ราคามากกว่าสามเท่า การใช้งานจริงส่วนใหญ่อยู่ระหว่างสามถึงห้า

N คูณต้นทุนตามจริง ผู้สมัครห้าคนคือโทเคนสร้างห้าเท่า บวกกับต้นทุนการเลือกไม่ว่าจะเป็นเท่าไร

เมื่อไรที่ไม่ควรใช้

หากคุณไม่มีวิธีบอกความต่างระหว่างคำตอบที่ดีกับที่แย่ ดีที่สุดจาก N จะช่วยไม่ได้ คุณจะเลือกแบบสุ่มจากกองที่ใหญ่กว่าและจ่ายมากขึ้นเพื่อสิทธิพิเศษนั้น บ้านตามธรรมชาติของมันคืองานที่มีการตรวจสอบเชิงวัตถุ: โค้ด ผลลัพธ์ที่มีโครงสร้าง สิ่งใดก็ตามที่แยกวิเคราะห์ได้หรือไม่ได้

คำถามที่พบบ่อย

ดีที่สุดจาก N เหมือนกับการเพิ่มอุณหภูมิไหม?

ไม่เหมือน แม้พวกมันจะมีปฏิสัมพันธ์กัน อุณหภูมิควบคุมว่าแต่ละคำตอบผันแปรมากแค่ไหน ดีที่สุดจาก N เกี่ยวกับจำนวนที่คุณนำมาและวิธีที่คุณเลือก ความหลากหลายบางอย่างช่วยได้ เพราะผู้สมัครที่เหมือนกันไม่ทิ้งอะไรให้เลือก

ฉันใช้โมเดลต่างกันสำหรับผู้สมัครได้ไหม?

ได้ และมักช่วยได้ โมเดลล้มเหลวต่างกัน ดังนั้นกลุ่มจึงหลากหลายกว่าตัวอย่างซ้ำจากโมเดลเดียว ณ จุดนั้นคุณใกล้เคียงกับความเห็นพ้อง ด้วยการเลือกแทนที่ความสอดคล้อง

มันช่วยเรื่องความแม่นยำเชิงข้อเท็จจริงไหม?

เฉพาะเมื่อตัวคัดเลือกของคุณตรวจจับข้อผิดพลาดเชิงข้อเท็จจริงได้ หากไม่มีการตรวจสอบภายนอก คุณกำลังเลือกระหว่างคำตอบที่มั่นใจ และความมั่นใจไม่ใช่ความแม่นยำ