Ollama 还是 llama.cpp：该用哪个？

各自是什么

llama.cpp 是一个 C++ 推理引擎。它能在 CPU 和 GPU 上高效运行量化后的模型，并对模型如何加载和执行提供细粒度控制。它是底层，本地 AI 生态系统的很大一部分都建立在它之上。

Ollama 把这类引擎包装成便利的形式：按名字拉取模型，启动一个服务器，得到一个 HTTP API，把模型文件和内存管理都交给它处理。它的优化目标是让模型在一分钟内跑起来。

如何选择

当你想让模型用合理的默认设置快速运行起来，或者要在多个模型间切换，或者想要一个稳定的本地 API 而不用调整任何东西时，选 Ollama。

当你需要控制权时——特定的量化方式、特定的层卸载策略、不常见的硬件，或者把推理嵌入你自己的可执行文件——直接选 llama.cpp。代价是你要自己管理这些细节。

同时使用两者很正常

常见的安排是：日常交互使用用 Ollama，刻意调优过的工作负载用 llama.cpp。它们并不互相排斥，同时支持两者的平台，让这个决定可以按每次部署来做，而不是一劳永逸。

常见问题

Ollama 只是个封装层吗？

这样说低估了它。模型管理、内存处理和一致的 API，正是让本地模型日常可用的部分，无论底层是什么引擎，这都是实打实的工作。

哪个更快？

在同样的模型、量化方式和硬件下，两者接近，因为繁重的工作是同一种。实践中的差异通常来自配置，而不是工具本身。

什么是量化？

以更低的精度存储模型权重，从而需要更少的内存。正是这个方法让大模型能装进普通硬件，用一点点质量换取大量实用性。