Xinference:本地部署大模型的一站式推理平台
Xinference 是 Xorbits 开源的一站式推理平台,一条命令部署 LLM/Embedding/Rerank 模型,OpenAI 兼容 API。16k+ Stars,GPU/CPU 混合调度、内置量化与分布式扩展,自建模型服务的轻量选择。
精选值得关注的 AI 开源项目与创意应用,每篇深度安利一个项目
Xinference 是 Xorbits 开源的一站式推理平台,一条命令部署 LLM/Embedding/Rerank 模型,OpenAI 兼容 API。16k+ Stars,GPU/CPU 混合调度、内置量化与分布式扩展,自建模型服务的轻量选择。
MLflow 是 ML 全生命周期管理平台,实验追踪、模型打包、一键部署一站式搞定。18k+ Stars,MLOps 的瑞士军刀,团队协作与模型上线的统一标准。
Coqui TTS 是本地运行的深度学习语音合成引擎,支持 1100+ 种语言,可克隆音色。30k+ Stars,可一键训练自己的声音模型,商业配音工具的开源替代方案。
Qdrant 是用 Rust 编写的高性能向量数据库,亿级向量毫秒级检索。20k+ Stars,内置标量过滤、混合搜索与分布式部署,RAG 应用向量检索的可靠选择。
DeepSeek-V3 以 671B MoE(37B 激活)架构刷新开源大模型天花板,训练成本仅约 557 万美元。中文理解、数学推理与编程能力全面对标闭源模型,是开源社区的性价比之王。
Whisper 是 OpenAI 开源的通用语音识别模型,支持 99 种语言,即使有噪声、口音也能准确转录。70k+ Stars,一条命令转写任意音频,语音转写领域的开源标杆。
Stable Diffusion WebUI 是 AI 绘画入门的第一站,浏览器界面即可完成文生图、图生图、局部重绘。140k+ Stars,一键安装、海量插件生态,普通用户也能训练自己的 LoRA 模型。
LocalAI 是开源的自托管推理服务器,30k+ Stars。无需 GPU 也能跑,OpenAI API 全兼容,实测对比自建与云 API 的成本和性能,给出真实的选型建议。
Hugging Face Transformers 用一套统一 API 封装了 30 万+ 预训练模型,136k+ Stars。从 TensorFlow 到 PyTorch 再到国产大模型,它定义了整个 NLP 生态的接入方式。
GLM-5.2 是智谱 AI 开源的 744B MoE 大模型(40B 激活参数),编程和推理能力顶尖。开源大模型的重要力量。
第 31-40 篇,共 58 篇