🚀 AI 项目推荐

6 篇

精选值得关注的 AI 开源项目与创意应用，每篇深度安利一个项目

信息安全

LLM Guard：给大模型应用套上一层可编程的安全扫描器

LLM Guard 是 Protect AI 开源的大模型安全工具箱。它把提示词注入检测、PII 脱敏、敏感词、代码与密钥泄露等能力拆成可组合的扫描器，在模型输入与输出两端各挂一道，让业务代码不必自己实现一整层内容安全。

NeMo Guardrails 是 NVIDIA 开源的对话护栏框架，用可编程的 Colang 语言定义"什么能说、什么不能说、何时切换话题"，在模型前后加上可审计的安全层，企业 AI 合规的守门员。

garak 是 NVIDIA 开源的 LLM 漏洞扫描框架，像网络安全扫描器一样对模型做自动化渗透测试，覆盖提示词注入、数据泄露、有害内容等数十类攻击探针，一行命令出一份安全报告。

Rebuff 是专为防御提示词注入而生的开源框架，通过启发式检测、向量相似度比对与外部 LLM 判定三层防线识别恶意指令，给所有把外部文本喂给大模型的应用加上一道保险。

PyRIT 是微软开源的 AI 红队自动化工具包，用一套可编排的攻击算子持续探测 LLM 的提示词注入、越狱与有害内容边界，把"攻击自己的模型"变成标准化的安全测试流程。

NVIDIA 开源的 AI 智能体安全扫描器，检测 64 种漏洞模式：提示注入、数据泄露、权限滥用。上线前先给 Agent 做个体检。

欢迎告诉我们，让优秀的 AI 项目被更多人发现。