Что такое сэмплирование «лучший из N»?

Почему это вообще работает

Вывод языковой модели сэмплируется, а не детерминирован. Два запуска одного промпта дают разные ответы разного качества. Если хороших ответов у модели больше, чем плохих, несколько выборок повышают шанс, что хотя бы один хорош.

В этом весь механизм. Он не делает модель умнее; он даёт больше попыток на уже имеющейся способности.

Выбрать победителя — самое трудное

Породить варианты легко. Выбрать между ними — настоящая задача, и именно там и большая часть ценности техники, и большая часть её провалов.

Отбор автоматической проверкой — компилируется ли, проходят ли тесты, соответствует ли схеме — надёжнее всего, потому что проверка независима от модели. Отбор другой моделью — это судья со всеми оговорками той страницы. Отбор человеком точнее всего и хуже всего масштабируется.

Выбор N

Отдача падает быстро. Переход от одного варианта к трём — большое улучшение; от трёх к десяти — маленькое при более чем тройной цене. Почти все практические применения лежат между тремя и пятью.

N умножает стоимость ровно во столько же раз. Пять вариантов — это впятеро больше токенов генерации плюс то, что стоит отбор.

Когда не применять

Если у вас нет способа отличить хороший ответ от плохого, «лучший из N» не поможет: вы выберете случайно из большей кучи и заплатите больше. Его естественное место — работа с объективной проверкой: код, структурированный вывод, всё, что либо разбирается, либо нет.

Частые вопросы

Это то же, что поднять температуру?

Нет, хотя они связаны. Температура управляет тем, насколько разнообразен каждый ответ. «Лучший из N» — о том, сколько вы берёте и как выбираете. Немного разнообразия помогает, потому что одинаковые варианты не дают из чего выбирать.

Можно ли брать разные модели для вариантов?

Да, и это часто помогает: модели ошибаются по-разному, поэтому набор разнообразнее, чем повторные выборки из одной. В этот момент вы близки к консенсусу, только с отбором вместо согласия.

Помогает ли это фактической точности?

Только если ваш селектор способен обнаружить фактическую ошибку. Без внешней проверки вы выбираете между уверенными ответами, а уверенность — не точность.