هماهنگسازی
داور هوش مصنوعی چیست؟
داور هوش مصنوعی مدلی است که به پاسخ مدلهای دیگر نمره میدهد. کجا به کار میآید، چه سوگیریهایی دارد و چرا جای وارسی واقعی را نمیگیرد.
همهٔ توضیحها · آخرین بازبینی:
داور چه میکند
داور پرسش اصلی و دو یا چند پاسخ میگیرد و رتبهبندی یا نمرهای برمیگرداند، معمولاً با دلیل. گام انتخاب در «بهترین از N» و گام داوری هنگام اختلاف مدلهاست.
جذابیتش روشن است: به شکلی مقیاس میگیرد که بازبینی انسانی نمیگیرد، و بسیار ارزانتر از کسی است که جایش را پر میکند.
سوگیریها، که ثابتاند
داورها پاسخهای بلندتر را بر کوتاهتر ترجیح میدهند، حتی وقتی کوتاه کامل است. بیان بااطمینان را بر بیان محتاطانه ترجیح میدهند، چه اطمینان موجه باشد چه نه. به ترتیب ارائهٔ نامزدها حساساند. و مدلی که خواسته شود خروجی خودش را داوری کند، به ترجیح آن گرایش دارد.
هیچکدام ظریف نیستند و همه قابل مدیریتاند — ترتیب را به هم بزنید، مدل داور را جدا از مدل نویسنده بگیرید، معیارهای مشخص بخواهید نه ترجیح کلی. اما باید عمداً مدیریت شوند، چون پیکربندی پیشفرض هر چهار را نشان میدهد.
داور راستیآزما نیست
داور پاسخها را با هم مقایسه میکند. آنها را با واقعیت مقایسه نمیکند. با سه پاسخ نادرست، آنها را با اطمینان مرتب میکند و برنده همچنان نادرست میماند.
هرجا وارسی بیرونی هست — آزمون، طرحواره، جستوجو — آن وارسی بر داور میچربد، چون مستقل از چیزی است که داوری میشود. داور همان چیزی است که وقتی چنین وارسیای نیست به کار میبرید.
پرسشهای پرتکرار
- آیا داور باید قویترین مدل باشد؟
- معمولاً مدلی قوی، و ترجیحاً نه همان مدلی که نامزدها را نوشته. ترجیح خود واقعی است و ارزانترین راهحل، استفاده از مدلی دیگر است.
- آیا داور میتواند یک پاسخ تکی را نمره دهد؟
- میتواند، اما داوری مقایسهای از نمرهدهی مطلق قابلاعتمادتر است. مدلها در «کدامیک بهتر است» بهتر از «این هفت است یا هشت» عمل میکنند.
- از کجا بدانم داور درست میگوید؟
- نمونهای از کارش را با داوری خودتان بسنجید. اگر هرگز وارسی نکنید، اعتماد را جابهجا کردهاید نه اینکه به دستش آورده باشید.
بهجای خواندن، امتحانش کنید
ClawAI داوری را بهعنوان سطحی مستقل روی یک اجرای مقایسه انجام میدهد؛ پاسخ نمرهگرفته هم مدلهای نویسندهٔ نامزدها و هم مدل داور را ثبت میکند.