Что такое резервный переход между моделями?

Почему это не опция

Процесс с одним поставщиком наследует ровно его доступность. Лимиты, в частности, — не редкость: это обычное следствие загруженного часа, и процесс без резервирования просто останавливается.

Резервный переход превращает жёсткий отказ в ухудшенный ответ. Улучшение это или нет, полностью зависит от того, сказали ли вам об этом.

Выбор порядка

Интуитивный порядок — «следующая по силе модель», но он часто неверен. Если первый выбор упал, потому что запрос был слишком длинным, меньшая модель упадёт тоже. Если отказ был по содержанию, похожая модель откажет так же.

Более полезный порядок меняет что-то структурное: другого поставщика целиком или локальную модель с другими правилами, а не «родственника», который упадёт так же.

Опасная разновидность

Тихий переход — это система, которая незаметно отвечает другой моделью и ничего не говорит. Вы получаете худший ответ, мысленно приписываете его выбранной модели и делаете о ней неверный вывод.

Когда переход пересекает границу приватности, это хуже неверного вывода. Уход с локальной модели к облачному провайдеру отправляет данные ровно туда, куда пользователь решил их не отправлять. Цепочка, способная покинуть локальное выполнение, должна быть цепочкой, на которую согласились явно.

Как это устроено в ClawAI

Режимы маршрутизации задают собственные цепочки, и режим «только локально» держит свою на локальных провайдерах, а не тянется к облачной модели, когда локальная занята. Каждое сообщение записывает реально ответившую модель, поэтому переход виден постфактум, а не угадывается по смене тона.

Частые вопросы

Резервный переход — это то же, что повтор?

Повтор отправляет тот же запрос той же модели, и это помогает при временной ошибке. Переход меняет модель, и это помогает, когда первая вообще не может обслужить запрос. Надёжные системы делают и то и другое, именно в таком порядке.

Должен ли переход когда-либо идти из локального в облако?

Только если пользователь этого просил. Локальное выполнение обычно выбирают по причине, которую переход соблюсти не может, поэтому безопасно — упасть и сказать об этом, а не преуспеть в другом месте.

Сколько моделей должно быть в цепочке?

Обычно достаточно двух-трёх. Длинные цепочки добавляют в основном задержку, потому что каждая неудачная попытка оплачивается временем до начала следующей.