用 ClawAI 做私有本地部署

在本地运行究竟改变了什么

ClawAI 目录中其他地方的云端提供方,是在自己的基础设施上运行模型并按请求收费;Ollama 和 llama.cpp 则不同,它们把一个开放权重模型加载到你自己控制的硬件上,请求因此不会离开这台硬件。这改变的是谁能够看到这个请求,而不是某个具体模型的能力上限。

Local-Only 和 Privacy-First 路由模式

Local-Only 路由让每一次请求都留在你控制的硬件上,使用 Ollama 或 llama.cpp,而不经过任何云端提供方。Privacy-First 路由是另一种独立模式,有它自己的优先级考量;这两种模式的存在,正是因为并非每种工作负载都应该默认走 Auto 路由,在两者之间做选择,是一个值得郑重决定的问题,而不是可以不假思索沿用的默认设置。

什么情况适合私有或本地部署

私有或本地工作负载的界定标准是请求运行在哪里,而不是任务本身是什么类型——只要要求是任何内容都不能离开你自己控制的硬件,编码、写作或研究都可以用这种方式运行。下方链接的"如何为私有本地工作负载选择模型"和"什么是本地优先 AI"说明了其中需要权衡的取舍。

常见问题

Local-Only 和 Privacy-First 路由有什么区别?

Local-Only 通过 Ollama 或 llama.cpp,让每一次请求都留在你控制的硬件上;Privacy-First 是另一种独立的路由模式,有它自己的优先级考量。两者的存在都是因为并非每种工作负载都应该默认走 Auto 路由。

本地应该运行哪个开放权重模型?

这个页面不会推荐具体的模型——参见下方链接的"什么是本地优先 AI",了解该如何思考这个选择,因为合适的模型取决于你的硬件和任务。

是不是所有任务都能在本地运行,还是只有某几类?

私有或本地工作负载的界定标准是请求运行在哪里,而不是任务本身——只要留在你控制的硬件上比任务类型更重要,编码、写作或研究都可以用这种方式运行。