AI แบบโลคัลคืออะไร?

สิ่งที่เปลี่ยนไป

ข้อมูลคือเหตุผลที่แท้จริง พรอมป์ต์ที่ส่งไปยังโมเดลที่โฮสต์ไว้ถูกประมวลผลโดยผู้ให้บริการนั้นภายใต้เงื่อนไขของพวกเขาเอง พรอมป์ต์ไปยังโมเดลโลคัลไม่ถูกส่งไปที่ใดเลย ซึ่งเป็นรูปแบบเดียวของการรับประกันนั้นที่ไม่ขึ้นกับนโยบายของคนอื่น

มันยังขจัดการเรียกเก็บเงินต่อโทเคน ขีดจำกัดอัตรา และความเป็นไปได้ที่โมเดลจะถูกปลดระวางไปโดยที่คุณไม่รู้ตัว โมเดลที่คุณดาวน์โหลดมายังคงทำงานต่อไป

รูปแบบของต้นทุน ไม่ใช่ตัวต้นทุนเอง

AI แบบโลคัลไม่ได้ถูกกว่าโดยอัตโนมัติ มันแปลงต้นทุนที่แปรผันให้เป็นต้นทุนคงที่: คุณซื้อหรือเช่าฮาร์ดแวร์ แล้วหลังจากนั้นการอนุมานแทบจะฟรีที่ระดับส่วนเพิ่ม

มันเป็นข้อตกลงที่ดีที่ปริมาณการใช้งานสูงและคงที่ และข้อตกลงที่แย่สำหรับการใช้งานเป็นครั้งคราว GPU ที่ว่างเปล่าเกือบทั้งวันมีราคาแพงกว่าการเรียก API ที่มันเข้ามาแทนที่

ขีดจำกัดที่ตรงไปตรงมา

โมเดลที่รันได้สบายบนเครื่องเดียวโดยทั่วไปไม่ใช่โมเดลที่ใหญ่ที่สุดที่มีอยู่ ในงานการให้เหตุผลที่ยากที่สุด ช่องว่างกับโมเดลระดับแนวหน้าที่โฮสต์ไว้เป็นเรื่องจริง

สำหรับงานประจำวันจำนวนมาก — สรุป ร่างเนื้อหา สกัดข้อมูล จำแนกประเภท โค้ดประจำวัน — ช่องว่างเล็กกว่าที่คนคิดมาก และคุณสมบัติด้านความเป็นส่วนตัวและต้นทุนมักสำคัญกว่าความสามารถส่วนสุดท้ายที่เพิ่มขึ้น

มีประโยชน์ที่สุดในรูปแบบผสม

รูปแบบทั่วไปไม่ใช่โลคัลเท่านั้นหรือคลาวด์เท่านั้น มันคือโลคัลสำหรับสิ่งที่อ่อนไหวหรือปริมาณสูง โฮสต์สำหรับคำถามที่ยากที่สุด และนโยบายที่ตัดสินใจว่าอะไรเป็นอะไร นั่นคือสิ่งที่ตัวกำหนดเส้นทางมีไว้เพื่อการนี้

คำถามที่พบบ่อย

ฉันต้องใช้ฮาร์ดแวร์อะไร?

ขึ้นอยู่กับขนาดโมเดลและการควอนไทซ์ทั้งหมด และใครก็ตามที่ให้ตัวเลขเดียวกำลังเดาอยู่ ข้อจำกัดที่ครอบงำคือหน่วยความจำที่มีอยู่: ค่าน้ำหนักต้องพอดี และสิ่งที่พอดีจะกำหนดว่าคุณรันอะไรได้

AI แบบโลคัลเป็นส่วนตัวโดยนิยามไหม?

การเรียกโมเดลเป็นส่วนตัว ส่วนที่เหลือของแอปพลิเคชันอาจไม่ใช่: การค้นหา การวัดข้อมูลระยะไกล และการผนวกรวมอื่นๆ ยังคงเข้าถึงภายนอกได้ ความเป็นส่วนตัวเป็นคุณสมบัติของทั้งระบบ ไม่ใช่ของส่วนประกอบเดียว

โมเดลโลคัลใช้เอกสารของฉันได้ไหม?

ได้ การค้นคืนทำงานเหมือนกัน และเมื่อทั้งการค้นคืนและโมเดลเป็นโลคัล เอกสารจะไม่ออกจากฮาร์ดแวร์ของคุณเลยไม่ว่าจุดใด