如何为私有本地部署选择模型

在本地运行模型究竟改变了什么

ClawAI 目录中其他地方的云端提供方,是在自己的基础设施上运行模型并按请求计费;Ollama 和 llama.cpp 则不同,它们把一个开放权重模型加载到你自己控制的硬件上,请求因此不会离开这台硬件。这改变的是谁能够看到这个请求,而不是某个具体模型的能力上限——完整机制参见模型提供方页面上的"本地 AI"部分,这里不再重复。

ClawAI 的 Local-Only 和 Privacy-First 路由模式

Local-Only 路由让每一次请求都留在你控制的硬件上,使用 Ollama 或 llama.cpp,而不经过任何云端提供方。Privacy-First 路由是另一种模式,有它自己的优先级考量;这两种模式的存在,正是因为并非每种工作负载都应该默认走 Auto 路由。在两者之间做选择,或者在 Manual Model 模式下指定某个具体的本地模型,是一个值得郑重决定的工作负载层面的选择,而不应该交给通用型默认设置。

选择运行哪个开放权重模型

这个板块特意不点名任何具体的开放权重模型,原因与本地 AI 提供方页面相同:这个领域的发展速度远快于一个静态页面能够追踪的速度,过时的推荐比不给推荐更糟糕。参见下方链接的"什么是本地优先 AI",了解该如何权衡自行运行开放权重模型与使用云端提供方之间的取舍。

常见问题

私有工作负载应该运行哪个开放权重模型?

这个板块不会推荐具体的模型——参见下方链接的"什么是本地优先 AI",了解该如何思考这个选择,因为合适的模型取决于你的硬件和任务,一个静态页面无法负责任地持续追踪这些变化。

Local-Only 和 Privacy-First 路由有什么区别?

Local-Only 通过 Ollama 或 llama.cpp,让每一次请求都留在你控制的硬件上;Privacy-First 是另一种独立的路由模式,有它自己的优先级考量。两者的存在都是因为并非每种工作负载都应该默认走 Auto 路由。

通过 ClawAI 在本地运行模型需要付费吗?

ClawAI 不会像对云端提供方那样,对本地运行的模型按 token 收取费用,因为这里并没有需要付费的云端提供方——成本就是你已经拥有的那台硬件本身。具体的方案行为请在定价页确认。