ClawAIの信頼性：フォールバック、ブレーカー、再開可能なストリーム

別のモデルへの自動フォールバック

ルーティングされるすべてのリクエストは、候補モデルのリストを持っています。選ばれたモデルがリクエストの途中で失敗すると、ClawAIは自動的に次の候補に移り、回答には最初に選ばれたモデルだけでなく、実際に応答したモデルが記録されます。

クレジットが尽きたプロバイダー向けの共有ブレーカー

プロバイダーアカウントのクレジットが尽きると、ブレーカーがそのプロバイダーを10分間ローテーションから外し、その後1回だけテスト呼び出しを通して回復したかどうかを確認します。ブレーカーの状態はRedisを通じてすべてのチャットサーバーで共有されるため、一度の障害は各サーバーがそれぞれ発見し直すのではなく一度で把握され、Redisが利用できない場合は各サーバーが自分のコピーにフォールバックします。

確実に止まる停止と、再開するストリーム

停止ボタンを押すとすべてのチャットサーバーに通知されるため、モデルを実行しているサーバーがどれであっても処理を中止します。回答のストリーミング中に接続が切れた場合でも、再接続するとバッファーから見逃したイベントが再生されるので、回答の残りが失われることはありません。

よくある質問

モデルが回答の途中で失敗したらどうなりますか？

ClawAIは自動的に次の候補モデルにフォールバックし、回答には実際にそれを生成したモデルが表示されます。

プロバイダーブレーカーは何から守ってくれるのですか？

クレジットが尽きたプロバイダーアカウントからです。そのプロバイダーは10分間スキップされた後に1回の呼び出しでテストされるため、その間にすべてのリクエストがそこで失敗し続けることはありません。

接続が切れると回答は失われますか？

いいえ。ストリームが再接続されると、見逃したイベントがサーバー側のバッファーから再生され、回答はそのまま続きます。