Как оценивать модели ИИ для собственных задач

Число из рейтинга — не ваше число

Публичные бенчмарки измеряют производительность на фиксированном наборе задач, редко совпадающем с вашим — другая область, другой формат, другие важные для вас виды ошибок. Модель может быть близка к вершине общего бенчмарка и всё же показывать худший результат, чем модель поменьше, на вашем конкретном типе запроса, потому что бенчмарк никогда не тестировал ничего похожего.

Оценки бенчмарков также быстро устаревают и могут зависеть от того, насколько данные обучения модели знакомы именно с этими вопросами бенчмарка, так что высокая оценка — это подсказка, которую стоит проверить, а не вердикт, которому стоит слепо доверять.

Единственный надёжный тест — ваша собственная задача

Возьмите репрезентативную выборку реальных запросов из своего фактического сценария использования — не упрощённые примеры — и пропустите их через кандидатов на модели. Судите о результатах по тому, что вы реально приняли бы, а не по общему представлению о хорошем ответе. Модель, пишущая элегантную прозу, но путающую терминологию вашей области, — плохой выбор, даже если звучит красиво.

Качество — лишь одно из нескольких измерений, вступающих в противоречие друг с другом

Модель с лучшей оценкой качества часто оказывается и самой медленной, и самой дорогой за запрос. Стоит ли этот компромисс того, зависит от задачи: фоновый пакетный процесс обычно может позволить себе более медленную и дешёвую модель; интерактивный ответ в чате обычно не может позволить себе медлительность, какой бы качественной она ни была. Оценивать модель изолированно, только по качеству, — значит пропускать именно тот компромисс, который реально решает, применима ли она в вашем продукте.

То, что вам разрешено ей отправлять, — тоже критерий оценки

Модель с хорошей оценкой, но требующая отправки конфиденциальных данных третьей стороне через открытый интернет, может оказаться непригодной для конкретной нагрузки независимо от качества — это ограничение нужно проверить прежде, чем качество вообще станет актуальным, а не после того, как вы уже выбрали фаворита. Там, где задача связана с данными, которые нельзя вывести за пределы своей инфраструктуры, локальный запуск (см. что такое локальный ИИ) или self-hosted-развёртывание сужают выбор ещё до того, как в игру вступают бенчмарки.

У каждой модели есть известные слабые места — найдите свои прежде, чем на неё полагаться

Известная склонность модели к галлюцинациям на вопросах вне её области, или её устойчивость в задачах, требующих тщательного пошагового рассуждения, важны как минимум не меньше средней оценки. Если ваш сценарий использования затрагивает область, где модель склонна гадать, оцените именно это, а не предполагайте, что высокая средняя оценка это покрывает — см. почему ИИ галлюцинирует, чтобы понять, почему средняя производительность не предсказывает поведение в конкретном слабом месте.

Оценка — это не разовое решение

Провайдеры обновляют модели — иногда незаметно, под тем же именем и тем же эндпоинтом — а цены и лимиты частоты запросов меняются. Модель, бывшая верным выбором на момент оценки, позже может перестать подходить. Если относиться к выбору модели как к решению, которое периодически пересматривается, а не фиксируется раз и навсегда при запуске, это позволяет заметить расхождение до того, как оно станет проблемой в продакшене.

Частые вопросы

Более высокая оценка в бенчмарке — всегда лучший выбор?

Не обязательно. Бенчмарки тестируют фиксированный набор задач, который может не походить на ваш, а более высокая оценка часто сопровождается более высокой стоимостью или задержкой. Единственный способ узнать наверняка — протестировать модель на собственных репрезентативных задачах.

Сколько тестовых случаев нужно, чтобы правильно оценить модель?

Достаточно, чтобы покрыть диапазон запросов, которые реально порождает ваш сценарий использования, включая пограничные случаи и типы входных данных, на которых обычно всё идёт не так. Несколько лёгких примеров сделают почти любую модель похожей на хорошую; настоящие различия проявляются на более сложных, репрезентативных случаях.

Нужно ли переоценивать модель после того, как вы её уже выбрали?

Да. Провайдеры обновляют модели под тем же именем, цены и лимиты частоты запросов меняются, да и ваш собственный сценарий использования развивается. Относитесь к выбору как к пересматриваемому периодически, а не зафиксированному навсегда при запуске.

Нужно ли проверять приватность и обработку данных отдельно от качества?

Да, и это должно идти первым, если дисквалифицирует вариант. Оценка качества модели не имеет значения, если нагрузка связана с данными, которые вам вообще не разрешено отправлять этому провайдеру.