跳至主要内容

路由

什么是 AI 模型路由?

路由是指按任务类型、成本、隐私要求或延迟,把每个请求发给专门挑选出来的模型,而不是所有事情都交给同一个模型处理。这篇文章说明路由器具体依据什么信号来决策,又是怎样在实际使用中悄悄出错的。

全部文章 · 最近核实:

路由器根据什么决策

多数路由器会综合几个信号:这看起来是什么类型的任务、输入有多长、数据有多敏感、答案需要多快、这个请求允许花多少钱。

这些信号彼此冲突。最快的模型很少是最强的;最私密的选项很少是最有能力的。路由器实际上是一项关于牺牲什么的策略,所以有用的路由器让你说出你在意什么,而不是靠猜。

自动路由与显式路由

自动路由读取请求并决策。它方便,但偶尔会出错,而如果系统不告诉你是哪个模型作答,出错很难被发现。

显式路由是指你自己说明优先级——这个留在本地、这个要便宜、这个用最强的推理——路由器照办。实际上大多数人两者都想要:一个合理的默认值,加上为眼前这个请求覆盖它的能力。

路由是如何出错的

两种常见的失误是悄悄降级和看不见的决策。悄悄降级是路由器把你精心准备的请求偷偷发给了廉价模型。看不见的决策是任何事后无法审计的路由。

两者的修复方式一样:系统必须记录实际是哪个模型作答,并展示出来。无法检查的路由器,和坏掉的路由器没什么区别。

ClawAI 是怎么做的

ClawAI 有 7 种路由模式。「自动」读取请求并选择。「手动」固定一个模型。「仅本地」把整条链都保持在你自己硬件上运行的模型里。「隐私优先」偏好本地,并拒绝悄悄离开本地。其余的把选择偏向更低延迟、更强推理或更低成本。

每个答案都记录了产生它的模型,所以自动决策是可以核实的,而不是只能相信。

常见问题

路由会降低答案质量吗?
如果策略不适合这个请求,可能会。这正是为什么模式由你选择、作答的模型会被展示出来。你能看到并能覆盖的路由是成本控制;你看不到的路由是降级。
路由器能让数据完全不进云端吗?
只有在它被允许拒绝、而不是切换到别处的情况下才行。回退链会通到云服务商的「仅本地」模式,算不上隐私控制。ClawAI 的仅本地模式把它的链条保持在本地供应商上。
对一个人来说,路由值得吗?
通常值得,更多是为了成本而不是可靠性。几乎所有个人工作负载主要是日常问题,加上少数难题;把日常问题发给更便宜的模型,是压低个人 AI 账单最大的杠杆。

与其阅读,不如亲自试试

ClawAI 提供 7 种路由模式,并在每条消息上展示所选模型——你可以核实路由器,而不必只是信任它。