หน้าต่างบริบทคืออะไร?

มันไม่ใช่ความจำ

โมเดลไม่ได้จำบทสนทนาก่อนหน้าของคุณ สิ่งที่สร้างภาพลวงตาของความจำคือแอปพลิเคชันส่งข้อความก่อนหน้าซ้ำในทุกคำขอใหม่ หน้าต่างคือพื้นที่ทำงานสำหรับการเรียกครั้งเดียว ไม่ใช่ที่เก็บข้อมูล

สิ่งนี้มีผลโดยตรงที่คนพบเจอเป็นความประหลาดใจ: บทสนทนายาวมีราคาแพงขึ้นเรื่อยๆ ในทุกข้อความ เพราะประวัติทั้งหมดถูกส่งซ้ำและเรียกเก็บเงินซ้ำในทุกครั้ง

หน้าต่างที่เต็มไม่ใช่หน้าต่างที่ใช้ดี

หน้าต่างใหญ่คือขอบเขต ไม่ใช่เป้าหมาย โมเดลให้ความสนใจไม่เท่ากันตลอดบริบทที่ยาว: เนื้อหาตรงกลางของอินพุตที่ยาวมากมีแนวโน้มถูกจัดการอย่างผิวเผินมากกว่าเนื้อหาที่ปลายทั้งสองข้าง

ในทางปฏิบัติสิบหน้าที่มุ่งเน้นมักชนะสองร้อยหน้าที่กระจัดกระจาย การค้นคืนมีไว้เพื่อเลือกสิบหน้านั้นแทนที่จะส่งทุกอย่างและหวัง

มันเพิ่มต้นทุนอย่างไร

ผู้ให้บริการเกือบทั้งหมดเรียกเก็บเงินต่อโทเคน แยกอินพุตกับเอาต์พุต และอินพุตมักถูกกว่า เอกสารขนาดใหญ่ที่แนบในทุกข้อความของบทสนทนายาวจะถูกเรียกเก็บเงินในทุกข้อความ ไม่ใช่ครั้งเดียว

นี่คือสาเหตุที่พบบ่อยที่สุดของบิลที่น่าประหลาดใจ และวิธีแก้ไขเป็นเชิงโครงสร้าง: แนบสิ่งที่คำถามต้องการ ไม่ใช่ทุกอย่างที่อาจเกี่ยวข้อง

คำถามที่พบบ่อย

หน้าต่างที่ใหญ่กว่าดีกว่าเสมอไหม?

มันขจัดข้อจำกัด ซึ่งเป็นเรื่องดี แต่ไม่ได้ปรับปรุงว่าโมเดลใช้สิ่งที่ได้รับดีแค่ไหน หน้าต่างที่ใหญ่กว่าส่วนใหญ่ซื้อความเป็นไปได้ที่จะทำผิดพลาดที่มีราคาแพงกว่า

โทเคนคืออะไร?

ประมาณเศษของคำ ข้อความภาษาอังกฤษให้ผลประมาณสามในสี่ของคำต่อโทเคนโดยเฉลี่ย ดังนั้นพันโทเคนคือประมาณเจ็ดร้อยห้าสิบคำ — แต่สิ่งนี้แตกต่างกันไปตามภาษา และตัวอักษรที่ไม่ใช่ละตินมักใช้โทเคนมากกว่าต่อคำ

เกิดอะไรขึ้นเมื่อฉันเกินขีดจำกัด?

คำขอล้มเหลว หรือแอปพลิเคชันตัดข้อความเก่าที่สุดออกอย่างเงียบๆ อย่างหลังพบบ่อยกว่าและสับสนมากกว่า เพราะโมเดลดูเหมือนจะลืมบางอย่างที่คุณพูดไป