llama.cpp：纯 C++ 大模型推理引擎，CPU 也能本地跑

1. 开篇

我的结论是：llama.cpp 绝对是自建本地大模型推理的首选，没有之一。它用纯 C++ 实现，无 Python 运行时依赖，ARM/x86 通吃，甚至能在树莓派上跑。但如果你是想要"开箱即用的 ChatGPT 体验"，那别折腾，直接买 API 更划算。这个项目适合两类人：有数据隐私需求、或想深度把玩推理底层原理的开发者。

2. 部署过程

2.1 环境

OS: Ubuntu 22.04 LTS (WSL2)
CPU: Intel i5-1240P (16 核)
RAM: 16 GB DDR4
磁盘: NVMe SSD

实测建议：WSL2 下性能损耗约 3-5%，可接受。生产环境推荐纯 Linux 裸机。

2.2 安装

# 1. 克隆源码（耗时 15 秒）
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp

# 2. CMake 构建（耗时 3 分 20 秒，-j 用满核心数）
cmake -B build -DLLAMA_CUBLAS=OFF
cmake --build build --config Release -j 12
# 输出末尾关键行：Built target llama-server

这里我没有启用 CUDA，因为目标是测 CPU 性能。如果你有 NVIDIA 显卡，加 -DLLAMA_CUBLAS=ON 即可，构建时会自动检测算力。

2.3 下载模型与启动

# 这里用 Qwen2.5-7B-Instruct 的 Q4_K_M 量化版，体积约 4.7 GB
wget https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-GGUF/resolve/main/qwen2.5-7b-instruct-q4_k_m.gguf

# 启动 llama-server（耗时 8 秒加载完成）
./build/bin/llama-server -m qwen2.5-7b-instruct-q4_k_m.gguf 
  --host 127.0.0.1 --port 8080 --ctx-size 4096

启动日志中的关键信息：model loaded in 8123.45ms，上下文长度 4096 是保守值，实测 8K 也能跑但首 Token 延迟会明显上升。

3. 兼容性实测

最让我意外的是 OpenAI 兼容层做得很完整，直接用 openai Python 库改个 base_url 就能跑，零代码迁移。

4. 性能基准

测试环境

CPU: Intel i5-1240P（16 线程，P 核 4.4GHz）
内存: DDR4-3200 双通道
模型: Qwen2.5-7B-Instruct-Q4_K_M （4.7GB）
llama.cpp: commit 3f4f2f8（2025-05 最新版）
请求: 并发 1，连续 20 次对话，每次 128 token 输入 + 256 token 输出

这个吞吐量意味着：生成 300 字回答约需 8 秒，体感是"可以接受但不如 ChatGPT 流畅"。如果换 3B 小模型（如 Llama-3.2-3B），速度能到 40+ tok/s，交互体验会明显更好。

3. 资源占用分析

CPU

7B 模型在 CPU 推理时会把所有物理核心吃满。我 16 线程的 i5 负载 82%，如果是 4 核老 U，吞吐会掉到 8-10 tok/s，基本没法流畅对话。建议 CPU 最低 8 线程，16 线程是舒服线。

内存

这个是最容易被低估的。Q4_K_M 的 7B 模型 + 4K 上下文，占用 5.2GB。上下文越长，KV cache 呈平方级增长：8K 上下文时内存飙到 6.8GB，16K 要 9.5GB。16GB 内存是底线，32GB 可以随便玩长上下文。

磁盘

模型文件 4.7GB，但建议预留 20GB。因为 GGUF 格式经常要换不同量化版本（Q4/Q5/Q8 甚至 F16），以及跑 LoRA 微调也要临时空间。

6. 成本对比

以 7B 模型每天 1000 次对话（每次 2K token）计算：

注意：这个对比隐含前提是请求量不大。如果一天要跑 10 万次对话，自建硬件成本会摊薄到几乎为零，而 API 费用会线性增长。

7. 结论

什么场景适合自建：

• 数据敏感（代码库、公司文档、医疗数据），绝不能出内网；
• 高频长上下文请求（比如批量总结文档），API 费肉疼但自建一次投入随便用；
• 学习推理原理、做量化实验、改采样器参数，llama.cpp 的 toy 属性能满足一切折腾欲。

什么场景别折腾：

• 要顶级的模型质量（GPT-4/Claude），本地最多跑 70B 量化，但效果差两个代际；
• 需要高并发（>10 并发），CPU 机器会打满，延迟飙升到不可用；
• 没有一台 16GB 内存的闲机。新买硬件不值得，除非你还有游戏需求。

一句话收尾：llama.cpp 是让你用 1% 的价格获得 60% 效果的绝佳工具，前提是你愿意在物理机上花时间调参。如果你满足这个前提，今晚就能跑起来。