Сравнение ответов моделей с ClawAI

Что делает режим Compare

Режим Compare отправляет один запрос сразу нескольким моделям и показывает ответы рядом друг с другом, так что решение, которое имеет значение, — спорный случай, неоднозначный запрос, ситуация, где формулировка одной модели может оказаться неверной, — получает больше одной точки зрения. Это функция, доступная по тарифу, учитываемая по количеству моделей в сравнении, а не по запуску целиком, так что стоимость масштабируется вместе с числом сравниваемых моделей.

Консенсус и best-of-N — как это работает на самом деле

Есть два разных подхода к тому, что делать с несколькими ответами, когда они уже получены: консенсус, где сам факт согласия между моделями информативен, и best-of-N, где вы генерируете несколько кандидатов и выбираете или объединяете самый сильный. Как каждый из них устроен на самом деле, а не в маркетинговом изложении, смотрите в материалах о том, что такое консенсус ИИ и что такое best-of-N, оба по ссылкам ниже.

Модель, оценивающая остальные ответы

Режим Judge — отдельная функция, доступная по тарифу, которая выполняет второй проход над результатами Compare, поручая одной модели оценить остальные, вместо того чтобы вы читали каждый ответ вручную. Проверка критиком — связанная, но отдельная функция для повторного взгляда на один ответ, а не для сравнения между моделями — как работает такая оценка, смотрите в материале о том, что такое ИИ-судья, по ссылке ниже.

Частые вопросы

В чём разница между режимами Compare и Judge?

Режим Compare отправляет один запрос сразу нескольким моделям и показывает каждый ответ рядом друг с другом. Режим Judge — отдельный второй проход, доступный по тарифу, в котором модель оценивает результаты запуска Compare, вместо того чтобы вы читали каждый ответ сами.

Стоит ли режим Compare дороже обычного сообщения в чате?

Использование Compare учитывается по количеству моделей, а не по запуску целиком — запуск одного и того же запроса на большем числе моделей обходится пропорционально дороже. Актуальный лимит проверяйте на странице тарифов.

Что такое best-of-N, и это то же самое, что консенсус?

Нет — консенсус рассматривает само согласие между ответами моделей как информативное, а best-of-N генерирует несколько кандидатов и выбирает или объединяет самый сильный. Смотрите материалы о том, что такое консенсус ИИ и что такое best-of-N, оба по ссылкам ниже.