Надёжность ClawAI: резервные модели, предохранители и возобновляемые потоки

Автоматическое переключение на другую модель

Каждый маршрутизированный запрос несёт список моделей-кандидатов. Если выбранная модель отказывает посреди запроса, ClawAI автоматически переходит к следующему кандидату, и в ответе фиксируется, какая модель ответила на самом деле, а не только та, что была выбрана первой.

Общий предохранитель для исчерпанных провайдеров

Когда у аккаунта провайдера заканчивается кредит, предохранитель выводит этого провайдера из ротации на десять минут, а затем пропускает один пробный вызов, чтобы проверить, восстановился ли он. Состояние предохранителя хранится в Redis и общее для всех серверов чата, поэтому сбой усваивается один раз, а не обнаруживается заново каждым сервером; если Redis недоступен, каждый сервер переходит на собственную копию.

Остановка, которая всегда останавливает, и потоки, которые возобновляются

Нажатие «Стоп» рассылается всем серверам чата, поэтому тот из них, на котором работает модель, её прерывает. Если соединение обрывается во время потоковой передачи ответа, при переподключении пропущенные события воспроизводятся из буфера, а не теряется остаток ответа.

Частые вопросы

Что будет, если модель откажет на середине ответа?

ClawAI автоматически переключится на следующую модель-кандидата, а в ответе будет видно, какая модель его фактически создала.

От чего защищает предохранитель провайдеров?

От аккаунта провайдера, у которого закончился кредит. Такой провайдер пропускается на десять минут, а затем проверяется одним вызовом, чтобы тем временем не проваливался каждый запрос к нему.

Потеряю ли я ответ, если оборвётся соединение?

Нет. Когда поток переподключается, пропущенные события воспроизводятся из серверного буфера, и ответ продолжается.