功能
ClawAI 的可靠性:回退、熔断器与可恢复的流式输出
当提供商出现故障时 ClawAI 会怎么做:自动回退到另一个候选模型,为额度耗尽的提供商账户设置在所有服务器间共享的熔断器,以及在网络重连后从缓冲区自动续传的流式输出。
所有功能 · 最近审核:
自动回退到另一个模型
每个经过路由的请求都带有一份候选模型列表。如果选中的模型在请求中途失败,ClawAI 会自动转到下一个候选模型,回答也会记录实际作答的是哪个模型,而不只是最初选中的那个。
说停就停,断了能续
按下“停止”会广播到每一台聊天服务器,因此无论哪台服务器正在运行模型,都会将其中止。如果回答流式输出时你的连接断开,重新连接后会从缓冲区重放你错过的事件,而不会丢失回答的剩余部分。
常见问题
- 如果模型在回答到一半时失败了,会怎样?
- ClawAI 会自动回退到下一个候选模型,回答中也会显示实际生成它的是哪个模型。
- 提供商熔断器防范的是什么?
- 防范额度已经耗尽的提供商账户。它会被跳过十分钟,然后用一次调用进行测试,而不是在此期间让每个请求都在它身上失败。
- 如果我的连接断开,会丢失回答吗?
- 不会。流式输出重新连接后,你错过的事件会从服务器端缓冲区重放,回答会继续下去。
与其相信我们的话,不如亲自试试
回退、通过 Redis 共享的提供商熔断器、跨服务器的“停止”以及可恢复的流式输出,如今都已在聊天服务中实现;运营方可以在管理后台的连接器页面查看熔断器状态。