跳至主要内容

功能

ClawAI 的可靠性:回退、熔断器与可恢复的流式输出

当提供商出现故障时 ClawAI 会怎么做:自动回退到另一个候选模型,为额度耗尽的提供商账户设置在所有服务器间共享的熔断器,以及在网络重连后从缓冲区自动续传的流式输出。

所有功能 · 最近审核:

自动回退到另一个模型

每个经过路由的请求都带有一份候选模型列表。如果选中的模型在请求中途失败,ClawAI 会自动转到下一个候选模型,回答也会记录实际作答的是哪个模型,而不只是最初选中的那个。

为额度耗尽的提供商设置共享熔断器

当某个提供商账户的额度耗尽时,熔断器会把该提供商移出轮换十分钟,然后放行一次测试调用,看它是否已经恢复。熔断器的状态通过 Redis 在所有聊天服务器之间共享,因此一次故障只需被发现一次,而不必由每台服务器各自重新踩坑;如果 Redis 不可用,每台服务器会退回使用自己的本地副本。

说停就停,断了能续

按下“停止”会广播到每一台聊天服务器,因此无论哪台服务器正在运行模型,都会将其中止。如果回答流式输出时你的连接断开,重新连接后会从缓冲区重放你错过的事件,而不会丢失回答的剩余部分。

常见问题

如果模型在回答到一半时失败了,会怎样?
ClawAI 会自动回退到下一个候选模型,回答中也会显示实际生成它的是哪个模型。
提供商熔断器防范的是什么?
防范额度已经耗尽的提供商账户。它会被跳过十分钟,然后用一次调用进行测试,而不是在此期间让每个请求都在它身上失败。
如果我的连接断开,会丢失回答吗?
不会。流式输出重新连接后,你错过的事件会从服务器端缓冲区重放,回答会继续下去。

与其相信我们的话,不如亲自试试

回退、通过 Redis 共享的提供商熔断器、跨服务器的“停止”以及可恢复的流式输出,如今都已在聊天服务中实现;运营方可以在管理后台的连接器页面查看熔断器状态。