การจัดการลำดับงาน LLM คืออะไร?

มันไม่ใช่วิศวกรรมพรอมป์ต์

วิศวกรรมพรอมป์ต์ปรับปรุงการเรียกครั้งเดียวให้ดีขึ้น การจัดการลำดับงานตัดสินใจว่ามีการเรียกกี่ครั้ง โมเดลไหนทำ และผลลัพธ์รวมกันอย่างไร คุณอาจมีพรอมป์ต์ที่ยอดเยี่ยมแต่ไม่มีการจัดการลำดับงานเลย ผลลัพธ์คือระบบที่ล้มทันทีที่ผู้ให้บริการมีชั่วโมงที่แย่

ความแตกต่างนี้สำคัญเพราะทั้งสองอย่างถูกปรับปรุงในทางต่างกัน พรอมป์ต์ที่ดีขึ้นราคาถูกและเพิ่มคุณภาพเล็กน้อย การจัดการลำดับงานที่ดีขึ้นใช้โทเคนแต่เพิ่มความน่าเชื่อถือได้มาก

ชั้นการจัดการลำดับงานตัดสินใจอะไร

โมเดลไหน ถามมากกว่าหนึ่งตัวไหม ตรวจสอบคำตอบก่อนส่งกลับไหม จะทำอย่างไรเมื่อถูกปฏิเสธ หมดเวลา หรือถูกจำกัดอัตรา ผลลัพธ์ของขั้นตอนนี้จะกลายเป็นข้อมูลนำเข้าของขั้นตอนถัดไปไหม ทั้งหมดนี้มีค่าใช้จ่ายที่รับได้ก่อนเริ่มไหม

แต่ละข้อคือนโยบายหนึ่ง และแต่ละนโยบายอาจผิดพลาดได้อย่างเป็นอิสระจากกัน นี่คือเหตุผลที่การจัดการลำดับงานควรถูกเรียกว่าเป็นชั้นของตัวเอง แทนที่จะกระจายการตัดสินใจไว้ทั่วโค้ดของแอปพลิเคชัน

เทคนิคทั่วไป

การกำหนดเส้นทางส่งคำขอไปยังโมเดลที่เหมาะสม การสำรองจัดการความล้มเหลว ความเห็นพ้องถามหลายโมเดลแล้วดูความสอดคล้อง ดีที่สุดจาก N สร้างผู้สมัครแล้วเก็บหนึ่ง ผู้ตัดสินให้คะแนนคำตอบ การตรวจสอบเทียบข้อกล่าวอ้างกับสิ่งภายนอกโมเดล ไปป์ไลน์เชื่อมโยงขั้นตอนต่างๆ การแตกงานแบ่งคำขอใหญ่เป็นคำขอย่อย

ClawAI นำเก้าอย่างนี้มาปฏิบัติเป็นโหมดการจัดการลำดับงานแยกกัน บวกกับผู้ตัดสินและการเปรียบเทียบเป็นพื้นที่ของตัวเอง แต่ละอย่างมีหน้าของตัวเองที่นี่ที่อธิบายว่ามันคืออะไรก่อนที่คุณจะตัดสินใจว่าต้องการมันหรือไม่

เมื่อไรที่ไม่ควรจัดการลำดับงาน

การจัดการลำดับงานทำให้ต้นทุนและความหน่วงเพิ่มขึ้นหลายเท่า ความเห็นพ้องบนสามโมเดลใช้โทเคนประมาณสามเท่าและใช้เวลาเท่ากับโมเดลที่ช้าที่สุด สำหรับคำถามที่คุณตรวจคำตอบได้ในพริบตา นี่คือข้อตกลงที่แย่

กฎที่ยังคงใช้ได้: จัดการลำดับงานเมื่อความผิดพลาดมีราคาแพงและการตรวจสอบยาก ไม่เช่นนั้นก็ส่งคำขอเดียวไปยังโมเดลเดียวแล้วอ่านคำตอบ

คำถามที่พบบ่อย

การจัดการลำดับงานเหมือนกับเฟรมเวิร์กเอเจนต์ไหม?

มีความทับซ้อนกันแต่ไม่ใช่สิ่งเดียวกัน เอเจนต์ตัดสินใจขั้นตอนถัดไปของตัวเอง มักด้วยเครื่องมือ การจัดการลำดับงานคือนโยบายที่ล้อมรอบมัน — โมเดลไหน กี่ตัว จะทำอย่างไรเมื่อล้มเหลว — และมันใช้ได้เท่ากันกับงานที่ไม่มีเอเจนต์เลย

การจัดการลำดับงานต้องใช้เฟรมเวิร์กไหม?

ไม่จำเป็น การลองใหม่ด้วยโมเดลอื่นก็คือการจัดการลำดับงานอยู่แล้ว เฟรมเวิร์กช่วยเมื่อนโยบายมีจำนวนมากพอที่คุณจะต้องสร้างซ้ำในทุกฟีเจอร์

มีค่าใช้จ่ายเท่าไร?

ในแง่โทเคน โดยประมาณแล้วแปรผันตามจำนวนการเรียกโมเดลที่นโยบายทำ การเรียกที่ถูกกำหนดเส้นทางหนึ่งครั้งมีต้นทุนใกล้เคียงกับที่ไม่ได้กำหนดเส้นทาง ความเห็นพ้องบนสามโมเดลประมาณสามเท่า ต้นทุนคาดการณ์ได้ ซึ่งทำให้มันเป็นการตัดสินใจด้านงบประมาณ ไม่ใช่การพนัน