Что такое консенсус моделей ИИ?

Что на самом деле означает согласие

Согласие — это довод, а не доказательство. Модели, обученные на пересекающихся данных, разделяют смещения и могут уверенно ошибаться в одну сторону. Три модели, сошедшиеся на ложном факте, — обычный исход, а не редкий.

Сигнал сильнее, когда модели по-настоящему разные: другой вендор, другое обучение, другой размер. Консенсус трёх вариантов одного семейства почти ничего не стоит.

Расхождение — более полезный результат

Практическая ценность консенсуса обычно в отрицательном случае. Когда модели расходятся, вы нашли вопрос, требующий человека, — а находить такие дёшево ценнее, чем чуть повышать уверенность в вопросах, которые и так были лёгкими.

Это меняет представление о том, когда его применять. Консенсус — не улучшение качества, применяемое ко всему; это инструмент сортировки, применяемый там, где ошибка дорога.

Цена

Запуск трёх моделей стоит примерно втрое больше токенов и длится столько же, сколько самая медленная. На рутинном вопросе это чистая трата. На пункте договора, плане миграции или медицинской выписке, по которой вы собираетесь действовать, это дёшево.

Когда не применять

Не используйте консенсус для вопросов с проверяемым ответом. Если код либо компилируется, либо нет, — запустите его: это более сильный сигнал, чем согласие трёх моделей. Консенсус — для оценочных вопросов, где дешёвой внешней проверки не существует.

Частые вопросы

Сколько моделей нужно?

Три — обычный выбор: две могут только согласиться или не согласиться, а три показывают форму расхождения. Больше трёх редко меняет решение и умножает счёт.

Предотвращает ли консенсус галлюцинации?

Нет. Он ловит галлюцинации, свойственные одной модели, и пропускает те, что разделяют несколько. Это фильтр, а не гарантия.

Это то же самое, что «лучший из N»?

Нет. Консенсус сравнивает ответы разных моделей, чтобы понять, согласны ли они. «Лучший из N» порождает несколько вариантов и выбирает один. Консенсус измеряет согласие; «лучший из N» отбирает качество.