RAG (تولید تقویت‌شده با بازیابی) چیست؟

چگونه کار می‌کند

اسناد به تکه‌ها بخش می‌شوند و هر تکه به یک بردار تبدیل می‌شود — نمایشی عددی از معنایش. پرسش هم به همان شکل تبدیل می‌شود و تکه‌هایی که بردارشان نزدیک‌ترین است بازیابی می‌شوند.

آن تکه‌ها در پرسش گنجانده می‌شوند، معمولاً با دستور پاسخ‌دادن از روی آن‌ها. مدل کار زبانی را انجام می‌دهد؛ بازیابی دانش را فراهم می‌کند.

کیفیت بازیابی، تمام سامانه است

اگر بخش درست بازیابی نشود، هیچ مدلی پاسخ را نجات نمی‌دهد: از دانش عمومی پاسخ می‌دهد و به همان اندازه مطمئن به‌نظر می‌رسد. بیشتر سامانه‌های ناامیدکنندهٔ RAG مشکل بازیابی‌اند در لباس تولید.

تکه‌بندی جایی است که این تعیین می‌شود. تکه‌های خیلی کوچک زمینه‌ای را که معنادارشان می‌کرد از دست می‌دهند؛ خیلی بزرگ‌ها هرکدام تطابق را رقیق می‌کنند. تکه‌بندی بر پایهٔ ساختار سند — بخش‌ها و عنوان‌ها — معمولاً بر تکه‌بندی با طول ثابت می‌چربد.

چه چیزی را درست می‌کند و چه چیزی را نه

RAG مشکل «مدل هرگز اسناد من را ندیده» را حل می‌کند. توهم را در پرسش‌هایی که اسناد به آن‌ها پاسخ می‌دهند کم می‌کند، چون پاسخ پیش روی مدل است.

استدلال را درست نمی‌کند و جلوی پاسخ‌دادن مدل از حافظه را وقتی بازیابی چیز مفیدی برنگرداند نمی‌گیرد. اتکا به منبع گرایشی قوی است نه تضمین، و شکلِ شکست پاسخی مطمئن بدون منبع است.

پرسش‌های پرتکرار

RAG همان تنظیم دقیق است؟

نه، و مسائل متفاوتی را حل می‌کنند. تنظیم دقیق رفتار مدل را عوض می‌کند؛ RAG آنچه را برای یک درخواست می‌داند عوض می‌کند. برای «به پرسش‌هایی دربارهٔ اسناد من پاسخ بده»، RAG تقریباً همیشه ابزار درست و برای به‌روز نگه‌داشتن بسیار ارزان‌تر است.

آیا پنجره‌های بزرگ RAG را بی‌فایده می‌کنند؟

نه. می‌توانید بیشتر بچسبانید، اما بابت هر توکن در هر پیام می‌پردازید و مدل‌ها روی ورودی‌های بسیار بلند توجه نابرابر می‌دهند. ضمناً بازیابی تنها رویکردی است که فراتر از گنجایش هر پنجره‌ای مقیاس می‌گیرد.

آیا RAG اسناد من را به ارائه‌دهندهٔ مدل می‌فرستد؟

بخش‌های بازیابی‌شده بله — مدل این‌گونه آن‌ها را می‌بیند. اگر این پذیرفتنی نیست، مدل باید جایی اجرا شود که در اختیار شماست، و اجرای محلی برای همین است.