emmanuelgjr/genai_incidents
生成式 AI 与 Agentic AI 安全事件的单一事实来源,映射到 OWASP LLM Top 10、OWASP Agentic Top 10(ASI)、NIST AI RMF 和 MITRE ATLAS。
AI 安全相关的开源项目、工具与仓库动态,按内容类型筛选,支持搜索。
生成式 AI 与 Agentic AI 安全事件的单一事实来源,映射到 OWASP LLM Top 10、OWASP Agentic Top 10(ASI)、NIST AI RMF 和 MITRE ATLAS。
面向 AI 代理的自托管运行时控制平面。在恶意工具调用执行前进行观察、人工审批或阻断:密钥泄露、提示注入、供应链等,均在本地仪表盘中处理。与代理无关(Claude、codex、langchain 等)。
面向 AI 代理安全威胁的开放检测规则标准——类似 Sigma,但针对 AI 代理。提供可执行、可测试的规则,覆盖提示注入、工具投毒、上下文窃取和 MCP 攻击。已合并进 Microsoft、Cisco、Gen Digital、MISP 和 FINOS 的开源项目。MIT 许可。
open-appsec 是一个机器学习安全引擎,可主动自动防御针对 Web 应用和 API 的威胁。本仓库包含主要代码和逻辑。
面向 OWASP 安全最佳实践(2025-2026)的 Claude Code 技能,涵盖 Top 10:2025、ASVS 5.0、Agentic AI 安全,以及 20 多种语言特有的安全陷阱。
面向 Symfony 应用的 AI 驱动多代理安全审计器,通过 symfony/ai 实现提供商无关。
AI 红队工具与 LLM 安全框架,用于评估 Agentic AI 应用。测试提示注入、执行漏洞评估、生成 SBOM 并进行静态分析。
面向 LLM 代理的静态安全扫描器——提示注入、MCP 配置审计、污点分析。51 条规则映射到 OWASP Agentic Top 10 (2026)。支持 LangChain、CrewAI、AutoGen。
Basilisk——开源 AI 红队框架,支持遗传式提示词进化。面向 GPT-4、Claude、Grok、Gemini 的自动化 LLM 安全测试,覆盖 OWASP LLM Top 10,包含 32 个攻击模块。
面向 Web、API 和 LLM 应用安全的本地优先 AI 红队工具,具备攻击者式推理、有证据支撑的发现,以及供 AI 编码代理使用的技能。
OWASP GenAI 数据安全计划——用于保障生成式 AI 系统数据安全的分类体系、对照映射、数据集和工具。
最全面的开源 OWASP GenAI 风险到行业框架映射——70 个映射文件、25 个框架、1016 项控制、125 起事件,以及 ML 分类器流水线。来源列表包括 LLM Top 10、Agentic Top 10、DSGAI 2026、EU AI Act、NIST、ISO、SOC 2、FedRAMP、DORA、OT/ICS、MITRE ATLAS。
面向 AI 生成应用的本地优先 MCP 安全扫描器。可在 Claude Code、Cursor、Codex 等代理中执行扫描 → 修复 → 重新扫描。
一个故意留有漏洞的 OWASP LLM Top 10 训练平台,用于 AI 安全、提示注入、RAG 安全、agent 安全和 GenAI 渗透测试。
面向 AI 编码代理的安全扫描 MCP 服务器。提示注入防火墙、包幻觉检测(430 万+ 包)、1000+ 条漏洞规则(含 AST 与污点分析)、自动修复。
AI 智能体安全测试框架,对抗性测试:v4.28.0 版本包含 649 个可执行测试,覆盖 MCP、A2A、x402/L402、决策治理、基准完整性、人在回路、技能供应链。四种目标形态:判定必须既可能出错,也可能正确。对应 OWASP Agentic v1.1 T1-T17、AIUC-1 19/20(2026-Q1/Q2 集)、NIST AI 800-2。
AI 安全代理守护你的代码。
精选的 MLSecOps 工具与资源列表,用于保护机器学习和 AI 系统——涵盖对抗性 ML 防御、LLM 安全、AI 红队测试、模型扫描、供应链防护和 MLOps 流水线安全
Free prompt injection CTF: 16 LLM security missions plus a 30-mission Agentic Security Lab (OWASP Agentic Top 10), defender mode, optional live-model grading. No signup.
OWASP 机器学习安全 Top 10 项目
扫描代码库中的 AI SDK、MCP 服务器和 agent 工具;将风险映射到 NIST AI RMF、ISO 42001、EU AI Act 以及 OWASP LLM 与 Agentic Top 10
针对 OpenClaw 代理的本地只读安全审计工具,可发现配置、提示注入与供应链风险,监控漂移并在安装前审查技能,完全离线、零依赖,五层检测后给出 A–F 评级。
AATMF | 开源对抗性 AI 威胁建模框架
PromptMe 是一个教学项目,展示大语言模型(LLM)及其 Web 集成中的安全漏洞,包含 10 个受 OWASP LLM Top 10 启发的动手挑战,演示这些漏洞在真实场景中如何被发现和利用
开源 AI Agent 安全框架,可对 AI Agent 进行评分、加固和治理,基于 DoD/DISA 零信任原则构建。
零信任。零安全。完全暴露。一个故意存在漏洞的健康科技平台,配有 AI 聊天机器人,用于学习应用安全和道德黑客。它包含 OWASP Top 10 Web、API 和 AI/LLM 安全漏洞中的漏洞。漏洞极多,切勿用于生产环境。
PromptMe 是一个教育项目,展示大语言模型及其 Web 集成中的安全漏洞,包含 10 个受 OWASP LLM Top 10 启发的动手挑战,演示这些漏洞在真实场景中如何被发现和利用。
映射到 OWASP LLM Top 10 2025 和 MITRE ATLAS 的 AI/LLM 安全测试库。按领域组织 191 个载荷,并集成 CI/CD,面向受监管行业。
AI Red Teaming / AI Safety に関する日本語リソースのキュレーションリスト
RAG/LLM 安全扫描器,可识别 AI 应用(包括聊天机器人、虚拟助手和知识检索系统)中的关键漏洞。
OWASP GenAI LLM Top 10 2026——非官方土耳其语翻译(CC BY-SA 4.0)