llama.cpp:纯 C++ 大模型推理引擎,CPU 也能本地跑
llama.cpp 是纯 C++ 实现的大模型推理引擎,GGUF 量化格式让 Llama、Qwen、DeepSeek 在 CPU 上也能跑。80k+ Stars,边缘设备与个人电脑本地推理的事实标准。
精选值得关注的 AI 开源项目与创意应用,每篇深度安利一个项目
llama.cpp 是纯 C++ 实现的大模型推理引擎,GGUF 量化格式让 Llama、Qwen、DeepSeek 在 CPU 上也能跑。80k+ Stars,边缘设备与个人电脑本地推理的事实标准。
Continue 是开源 AI 代码助手,VSCode/JetBrains 双端插件,对话、补全、编辑一步到位。30k+ Stars,完全自托管、可对接任意模型,数据不出内网的 Copilot 替代方案。
Open-Sora 是潞晨科技开源的视频生成模型,从 1.0 到 2.0 持续追赶 Sora。30k+ Stars,文生视频、图生视频、视频延展一应俱全,开源视频生成正在重演图像生成的开源崛起之路。
GPT-SoVITS 是强大的少样本声音克隆工具,仅需 5 秒参考音频就能复刻音色并合成高质量中文语音。45k+ Stars,一键训练、WebUI 可视化操作,配音与语音创作的开源利器。
BentoML 是统一 AI 应用服务框架,从训练产物一键打包成高性能服务,自动生成 Docker 镜像与 OpenAI 兼容端点。13k+ Stars,GPU 调度、自适应批处理、可观测性内置,模型上生产的标准答案之一。
Chroma 是主打开箱即用的开源向量数据库,一个 pip install 加三行代码就能给应用接入语义检索。20k+ Stars,本地优先、嵌入式部署、与 LangChain 无缝集成,RAG 入门与中小应用首选。
Xinference 是 Xorbits 开源的一站式推理平台,一条命令部署 LLM/Embedding/Rerank 模型,OpenAI 兼容 API。16k+ Stars,GPU/CPU 混合调度、内置量化与分布式扩展,自建模型服务的轻量选择。
Aider 是在终端里运行的 AI 结对编程助手,直接读写你 git 仓库的代码并自动提交。30k+ Stars,支持 200+ 语言、主流模型,和 Git 深度集成,命令行开发者提效神器。
DSPy 是斯坦福开源的提示词编程框架,把"手写 Prompt + 碰运气调参"变成"声明模块 + 自动优化"。30k+ Stars,编译、度量、优化一体化,LLM 应用开发从 Prompt 工程迈向编程工程。
MetaGPT 把标准作业流程 S.O.P. 编码进多智能体,让产品经理、架构师、工程师、QA 四个角色协作自主交付软件。50k+ Stars,一句话需求到可运行代码,多智能体编程的标杆项目。
第 51-60 篇,共 121 篇