Что такое проверка ответов ИИ?

Независимость — вся суть

Если модель выдумала факт из-за чего-то в своём обучении, вопрос этой же модели, правда ли это, обращается к тому самому источнику, который его выдумал. У проверки и ошибки общая причина, поэтому проверка проходит.

Полезный верификатор что-то меняет. Другая модель, поиск по реальным документам, компилятор, набор тестов, валидатор схемы. Чем сильнее проверяющий отличается от генератора, тем больше он способен поймать.

Виды проверки, от слабых к сильным

Самопроверка: модель перечитывает свой ответ. Дёшево, ловит в основном форматирование и внутренние противоречия. Перекрёстная проверка: проверяет другая модель. Лучше, ловит ошибки, свойственные первой. Поиск: утверждение сверяется с найденными документами. Сильно для фактических утверждений. Исполнение: код запускается, схема валидируется, тесты проходят. Сильнее всего и доступно только там, где ответ исполним.

Закономерность: сила следует за независимостью от модели, а доступность идёт в обратную сторону — самые сильные проверки существуют лишь для некоторых видов работы.

Проверка и починка

Верификатор, который лишь сообщает о проблеме, оставляет вас там же, где вы были. На практике проверку соединяют с починкой: сбой и его причина возвращаются модели, та выдаёт исправленный ответ, который проверяется снова.

Этому циклу нужен предел. Без него модель, неспособная исправить проблему, будет и дальше выдавать вариации той же ошибки по полной цене.

Частые вопросы

Помогает ли просьба к модели перепроверить себя?

Немного, и в основном на внутренней несогласованности, а не на фактических ошибках. Это самая слабая форма проверки и та, которой легче всего переоценить.

Проверка поиском — это то же, что RAG?

Это один механизм в противоположных направлениях. RAG ищет до генерации, чтобы наполнить ответ. Проверка поиском ищет после, чтобы его сверить.

Сколько попыток починки разумно?

Одна-две. Если модель не исправила со второй, дальнейшие попытки обычно дают пересказ той же ошибки, и посмотреть должен человек.