hashgraph-online/hol-guard
面向 AI agent 的开源杀毒软件：在运行时拦截高风险工具、机密访问、提示注入、恶意软件包、MCP 服务器、插件和技能。
看开源
AI 安全相关的开源项目、工具与仓库动态，按内容类型筛选，支持搜索。
分类筛选1展开收起
找到 120 个
Python · Apache-2.0新★ 1,013 Python · Apache-2.0新★ 23,285 NVIDIA/SkillSpector
面向 AI 智能体技能的 security scanner。在安装前检测 Claude Code、Codex 和 MCP 技能中的漏洞、恶意模式、安全风险、提示注入、数据外泄和供应链风险
Go · Apache-2.0新★ 971 pipelab-org/pipelock
面向 MCP 安全和智能体出口的开源 AI 智能体防火墙。扫描经其代理的 HTTP、MCP、A2A 和 WebSocket 流量，检测数据外泄、SSRF 和提示词注入，并生成由中介签名的操作回执：来自智能体外部的可验证审计证据。
MIT新★ 406 Yeti-791/Awesome-Offensive-AI-Agentic-Landscape
本文档汇集了 AI 渗透测试、LLM 红队、自主攻击代理和漏洞发现领域的开源项目、学术论文、能力基准及商业解决方案（国际与中国），旨在帮助研究人员、安全工程师和企业决策者快速形成全局认识。
Python · Apache-2.0新★ 218 AISecurityConsortium/AIGoat
AIGoat——开源 AI 安全演练场，用于动手进行 LLM 红队测试。通过本地运行的实战攻击实验、CTF 挑战和渐进式防御，探索提示注入、RAG 投毒、AI 智能体、MCP 安全和 OWASP Top 10 for LLM Applications
Rust · Apache-2.0新★ 4,749 nolabs-ai/nono
智能体运行时安全——零信任、零配置、零延迟的智能体沙箱。
#C03 AI红队测试工具 / 框架agent-runtime-securityagent-sandboxagent-securityai-agent-sandboxai-agent-securityai-agentsPython · Apache-2.0新★ 7,209 Tencent/AI-Infra-Guard
全栈 AI 红队测试平台，通过 Agent Scan、Skills Scan、MCP scan、AI Infra scan 和 LLM 越狱评估来保障 AI 生态安全
TypeScript · Apache-2.0新★ 697 arcjet/arcjet-js
面向 AI 应用和 agent 的运行时安全：提示注入检测、工具调用授权、敏感数据脱敏、机器人防护和限流。可直接接入你的 JS/TS 代码。
Python · Apache-2.0新★ 278 guardana/guardana
面向模型产物、在线端点、MCP 服务器和录制的 agent 轨迹的开源 AI 安全验证工具，为发布决策提供可复现的证据。
Python · Apache-2.0新★ 468 PrismorSec/prismor
面向 AI 代理的自托管运行时控制平面。在恶意工具调用执行前进行观察、人工审批或阻断：密钥泄露、提示注入、供应链等，均在本地仪表盘中处理。与代理无关（Claude、codex、langchain 等）。
TypeScript · MIT新★ 422 Agent-Threat-Rule/agent-threat-rules
面向 AI 代理安全威胁的开放检测规则标准——类似 Sigma，但针对 AI 代理。提供可执行、可测试的规则，覆盖提示注入、工具投毒、上下文窃取和 MCP 攻击。已合并进 Microsoft、Cisco、Gen Digital、MISP 和 FINOS 的开源项目。MIT 许可。
Python · GPL-3.0新★ 1,163 ASCIT31/Dark-Moon
开源自主 AI 渗透测试工具。50 个专家 agent 覆盖 Web、API、云、Active Directory、Kubernetes、CI/CD 和 AI/LLM（OWASP LLM Top 10）。在 Privacy Gateway 后运行本地 LLM，并与 GitHub、GitLab、Jenkins、VS Code、JetBrains、n8n、Grafana 和 Splunk 集成。
#C03 AI红队测试研究 / 基准active-directoryai-penetration-testingai-red-teamai-red-teamingai-securityai-security-toolMIT新★ 14 UnboundCompute/security-agent-skills
Security-testing methodology as portable, tool-agnostic agent skills for Claude Code and any agent runtime: white-box bug hunting, AI-agent and LLM red-teaming, supply-chain risk, and appsec depth.
Jupyter Notebook · MIT新★ 29,950 The-Art-of-Hacking/h4cker
此仓库由 Omar Santos（@santosomar）维护，收录数千份与道德黑客、漏洞赏金、数字取证与事件响应（DFIR）、AI 安全、漏洞研究、漏洞利用开发、逆向工程等相关的资源。另见：https://hackertraining.org
Python新★ 49 Tcotl/DVLAA
DVLAA（Damn Vulnerable LLM and Agent Application）是一个本地 LLM 与 Agent 安全靶场，用于 OWASP LLM Top 10 和 Agent 安全培训。
MIT新★ 182 pazo01/awesome-cyber-ai-arsenal
精选的攻击性、防御性及 AI/LLM 安全工具合集。
JavaScript · MIT新★ 419 agamm/claude-code-owasp
面向 OWASP 安全最佳实践（2025-2026）的 Claude Code 技能，涵盖 Top 10:2025、ASVS 5.0、Agentic AI 安全，以及 20 多种语言特有的安全陷阱。
TypeScript · Apache-2.0新★ 34 preambleai/prompt-injector
AI 安全与提示注入载荷工具集
Python新★ 40 4vanish/AI-Pentest-Playbook
🛡 一站式渗透测试 AI 聊天机器人与 LLM 应用的参考手册。提供可直接使用的载荷，覆盖 OWASP LLM Top 10 全部条目以及前沿攻击向量（MCP · RAG · A2A · computer-use · 语音）。
Python · Apache-2.0新★ 55 humanbound/humanbound-firewall
Multi-tier firewall for AI agents — blocks prompt injections, jailbreaks, and scope violations. Local tiers first; LLM judge only when uncertain.
Python · NOASSERTION新★ 67 NuGuardAI/nuguard
AI 红队工具与 LLM 安全框架，用于评估 Agentic AI 应用。测试提示注入、执行漏洞评估、生成 SBOM 并进行静态分析。
#C03 AI红队测试工具 / 框架adversarial-machine-learningagentic-aiai-agentsai-red-team-toolai-red-teamingai-securityJavaScript · MIT新★ 59 mastepanoski/claude-skills
面向 AI 编码助手的 UX/UI 评估、AI 治理和 AI 安全技能：用 Nielsen 启发式、WCAG、Don Norman 原则审计界面；用 NIST AI RMF、ISO 42001、OWASP LLM Top 10 和 OWASP AI Testing Guide 评估 AI 风险
Python · Apache-2.0新★ 586 secureagentics/Adrian
开源运行时 AI 代理安全工具——实时监控和控制 AI 代理，在代理行动之前捕获恶意工具使用、提示注入和策略漂移。
HTML · MIT-0新★ 51 aws-samples/sample-aiml-security-assessment
面向 AWS 的 AI/ML 与生成式 AI 安全评估框架。自动审计 Amazon Bedrock、SageMaker、AgentCore 和 Agent Registry 工作负载的安全最佳实践
#C01 算法与数据安全研究 / 基准agent-registryagentcoreagentic-ai-securityai-securityamazon-bedrockamazon-sagemakerPython · MIT新★ 242 HeadyZhang/agent-audit
面向 LLM 代理的静态安全扫描器——提示注入、MCP 配置审计、污点分析。51 条规则映射到 OWASP Agentic Top 10 (2026)。支持 LangChain、CrewAI、AutoGen。
Python · MIT新★ 37 votal-ai-hq/ai-red-teaming
面向 LLM 与 Agentic AI 应用的白盒与黑盒 AI 红队框架。它分析应用源码以发现工具、角色和护栏，然后跨多个类别生成新的攻击链，并在多轮多轮交互中自适应以发现漏洞
#C03 AI红队测试工具 / 框架agent-security-toolsagentic-aiai-agentsai-securityai-security-tooldata-exfiltrationPython · Apache-2.0新★ 32 arcjet/arcjet-py
面向 AI 应用和代理的运行时安全：提示注入检测、工具调用授权、敏感数据脱敏、机器人防护和速率限制。可直接嵌入 Python 代码。
Python · NOASSERTION新★ 380 getagentseal/agentseal
面向 AI 代理的安全工具集。扫描本机中危险的技能与 MCP 配置，监控供应链攻击，测试提示注入抵抗力，并审计在线 MCP 服务器的工具投毒问题。
Python · NOASSERTION新★ 78 regaan/basilisk
Basilisk——开源 AI 红队框架，支持遗传式提示词进化。面向 GPT-4、Claude、Grok、Gemini 的自动化 LLM 安全测试，覆盖 OWASP LLM Top 10，包含 32 个攻击模块。
GPL-3.0新★ 88 jassics/awesome-genai-security
与 GenAI 和 LLM 安全相关的链接、参考资料、书籍视频、教程（免费或付费）、漏洞利用、CTF、黑客实践等精选列表
TypeScript · NOASSERTION新★ 335 LumosLab-Innovation/OpenHunterAI
面向 Web、API 和 LLM 应用安全的本地优先 AI 红队工具，具备攻击者式推理、有证据支撑的发现，以及供 AI 编码代理使用的技能。
Python · NOASSERTION新★ 30 GenAI-Security-Project/GenAI-Data-Security-Initiative
OWASP GenAI 数据安全计划——用于保障生成式 AI 系统数据安全的分类体系、对照映射、数据集和工具。
Go · Apache-2.0新★ 314 praetorian-inc/augustus
LLM 安全测试框架，用于检测提示注入、越狱和对抗攻击——190+ 探测项、28 家提供商、单个 Go 二进制文件
JavaScript · NOASSERTION新★ 14 emmanuelgjr/GenAI-Security-Crosswalk
最全面的开源 OWASP GenAI 风险到行业框架映射——70 个映射文件、25 个框架、1016 项控制、125 起事件，以及 ML 分类器流水线。来源列表包括 LLM Top 10、Agentic Top 10、DSGAI 2026、EU AI Act、NIST、ISO、SOC 2、FedRAMP、DORA、OT/ICS、MITRE ATLAS。
TypeScript · Apache-2.0新★ 50 Synvoya/codeinspectus
面向 AI 生成应用的本地优先 MCP 安全扫描器。可在 Claude Code、Cursor、Codex 等代理中执行扫描 → 修复 → 重新扫描。
TypeScript · MIT新★ 13 vasikmansuri/agentconfig-doctor
MCP security scanner & config linter for AI coding agents. Finds leaked secrets, risky commands, broad permissions and invalid MCP servers in Claude Code, Cursor and VS Code (Copilot) configs. Local-first CLI, no telemetry.
TypeScript · Apache-2.0新★ 129 StackOneHQ/defender
面向调用工具（通过 MCP、CLI 或直接函数调用）的 Agent 的开源提示注入防护。检测并防御提示注入攻击。22MB，仅用 CPU，延迟低于 10ms。
#C03 AI红队测试研究 / 基准ai-securityindirect-prompt-injectionllm-securitymcp-securityprompt-injectionprompt-injection-defensePython · MIT新★ 345 CyberSunil/LLMVault
一个故意留有漏洞的 OWASP LLM Top 10 训练平台，用于 AI 安全、提示注入、RAG 安全、agent 安全和 GenAI 渗透测试。
NOASSERTION新★ 78 ProjectRecon/awesome-ai-agents-security
AI 智能体安全生态的实时全景图
MIT新★ 47 CollieAi/llm-firewall
AI 防火墙与 LLM 安全工具包——保护 AI 应用免受提示注入、越狱、PII 泄露和对抗性攻击
JavaScript · MIT新★ 123 sinewaveai/agent-security-scanner-mcp
面向 AI 编码代理的安全扫描 MCP 服务器。提示注入防火墙、包幻觉检测（430 万+ 包）、1000+ 条漏洞规则（含 AST 与污点分析）、自动修复。
Python · AGPL-3.0新★ 897 toby-bridges/api-relay-audit
针对 AI API 中转和 LLM 代理的本地安全审计：检测提示注入、模型替换、工具调用改写、SSE 异常、错误信息泄露和 Web3 钱包风险
Python · Apache-2.0新★ 33 msaleme/red-team-blue-team-agent-fabric
AI 智能体安全测试框架，对抗性测试：v4.28.0 版本包含 649 个可执行测试，覆盖 MCP、A2A、x402/L402、决策治理、基准完整性、人在回路、技能供应链。四种目标形态：判定必须既可能出错，也可能正确。对应 OWASP Agentic v1.1 T1-T17、AIUC-1 19/20（2026-Q1/Q2 集）、NIST AI 800-2。
Python · Apache-2.0新★ 49 occludra/gateway
自托管的 AI 安全代理，可脱敏 PII、拦截提示注入，并路由到任意 LLM 提供商，兼容 OpenAI 接口。
Go · AGPL-3.0新★ 44 yatuk/tamga
自托管的 LLM 安全代理。提供 PII 脱敏、提示注入防御，符合 KVKK/GDPR/PCI-DSS，延迟低于毫秒级。
Jupyter Notebook · MIT新★ 19 zakky8/llm-jailbreak-taxonomy
基于机制的 40 种 LLM 越狱模式分类，涵盖 10 个类别。针对 2026 年 6 月前沿模型（Claude Opus 4-8、GPT-5.5、Gemini 3.5、DeepSeek V4）的 8000 次试验自举评估。每条引用均经直接 WebFetch 验证；被驳斥的说法也有记录。
#C03 AI红队测试研究 / 基准adversarial-attacksadversarial-mladversarial-testingai-red-teamingai-safetyai-securityAstro · MIT新★ 482 RiccardoBiosas/awesome-MLSecOps
精选的 MLSecOps 工具与资源列表，用于保护机器学习和 AI 系统——涵盖对抗性 ML 防御、LLM 安全、AI 红队测试、模型扫描、供应链防护和 MLOps 流水线安全
#C03 AI红队测试Awesome Listadversarial-machine-learningagentic-securityai-agentsai-governanceai-red-teamingai-security
HTML · MIT新★ 10 ppradyoth/prompt-injection-ctf
Free prompt injection CTF: 16 LLM security missions plus a 30-mission Agentic Security Lab (OWASP Agentic Top 10), defender mode, optional live-model grading. No signup.
Shell · MIT新★ 41 bridge-mind/BridgeWard
不信任任何东西，安全交付。——面向 AI 代理的怀疑式阅读与提示注入防御技能。来源标记、红旗模式、拒绝模板以及只读注入审计器。MIT。
GitHub新★ 204 precize/Agentic-AI-Top10-Vulnerability
Agentic AI 十大风险（AI agent 安全）是 OWASP 和 CSA 红队工作的核心
#C01 算法与数据安全工具 / 框架agentic-aiagentic-vulnerabilityai-agentsai-securityai-threat-detectionai-vulnerability-assessmentTypeScript · MIT新★ 24 akanthed/SecureAI-Scan
在攻击者之前发现代码中的 AI/LLM 安全漏洞，覆盖提示注入、MCP 工具投毒、RAG 数据投毒等。
Go · Apache-2.0新★ 131 SleuthCo/clawshield-public
面向 AI 代理的安全代理。扫描每条消息中的提示注入、PII 和密钥。纵深防御：Go 代理 + iptables 防火墙 + eBPF 内核监控。YAML 策略引擎、审计日志、5 个带 RAG 知识库的 AI 代理。
Python · MIT新★ 38 gatsby-sec/llm-sec-range
🛡️ 大模型攻防渗透测试靶场 · 提示注入CTF / OWASP LLM Top10 / 脆弱Agent / 资料聚合。目标模型可切换：DeepSeek直连、OpenRouter中转站(国产+国外十余款小模型)、本地Ollama(DeepSeek-R1 8B离线)。一键本地部署。
Python新★ 45 airtasystems/DVAIA-Damn-Vulnerable-AI-Application
Damn Vulnerable AI Application——用于 LLM 红队训练，涵盖 LLM 测试、RAG 测试、多模态测试、Agent 测试和 LLM payload 生成。
Python · MIT新★ 45 frangelbarrera/Awesome-Hacking-with-AI
一份以证据为导向的精选指南，涵盖 AI 赋能安全与 AI 自身安全。包括防御研究、智能体安全、MCP 安全、AI 红队测试与评估、授权测试工作流和检测工程
#C03 AI红队测试Awesome Listai-hackingai-red-teamingai-securityartificial-intelligenceautonomous-agentsawesome
Python · MIT新★ 22 cyb3rmik3/prompt-injection-email-samples
用于检验邮件安全控制和 AI 邮箱助手如何处理间接提示注入的 .eml 邮件开放测试集。它将三种意图（系统提示词泄露、数据外泄、工具发现）与三种投递方式（明文、隐藏 HTML、Base64）交叉组合，并附带一个良性对照。所有内容均为虚构且不可路由。
#C03 AI红队测试研究 / 基准ai-securityemail-securityemail-security-testingmicrosoft-defender-for-office-365microsoft-securityprompt-injectionHTML新★ 167 wearetyomsmnv/Awesome-LLMSecOps
在一个 GitHub 仓库中汇集 LLM、智能体、安全与运营内容，配有优质链接和图片
#C03 AI红队测试Awesome Listadversarial-ml-threat-modelingai-agents-securityai-red-teamai-safety-supply-chain-securityai-securityawesome-list
Python · MIT新★ 58 gl0di/clawseccheck
针对 OpenClaw 代理的本地只读安全审计工具，可发现配置、提示注入与供应链风险，监控漂移并在安装前审查技能，完全离线、零依赖，五层检测后给出 A–F 评级。
GitHub新★ 67 ZeroDayEvil/CVE-2026-20817
🛡️ Official AI Security Tool module for CVE-2026-20817 (Windows Error Reporting WER ALPC Local Privilege Escalation PoC).
TypeScript · MIT新★ 135 KryptosAI/mcp-observatory
Free, MIT-licensed MCP security testing from ClearFrame. Scan, audit, compare, and review locally; continue in the ClearFrame CLI or Mac app.
Python · MIT新★ 19 SnailSploit/Burp-MCP-Security-Analysis-Toolkit
Burp MCP 安全分析工具包
Python · NOASSERTION新★ 47 SnailSploit/AATMF-Adversarial-AI-Threat-Modeling-Framework
AATMF | 开源对抗性 AI 威胁建模框架
Python · Apache-2.0新★ 11 rewanthtammana/Who-Let-The-Agents-Act
Who Let the Agents Act? 是一个交互式智能体安全实验环境，探索 AI 智能体如何使用工具、访问数据和做出决策。通过对比存在漏洞、仅靠提示词和加固后的智能体，说明为什么提示词不是安全边界，以及授权、最小权限、数据投影、输出控制等如何保障智能体安全。
JavaScript · MIT新★ 34 hackersatyamrastogi/pentesting-cyber-mcp
50+ 个用于 AI 驱动渗透测试的 MCP 安全服务器 | 集成 Nmap、Burp Suite、Nuclei、Shodan、BloodHound、Semgrep、Trivy | 面向网络安全的 Model Context Protocol
Python新★ 29 weidutech/pi-recon
轻量级 AI 红队测试框架，用于授权的智能体/GenAI 挑战（BCTF Agent Plus 风格）：调度、有界侦察、验证、摘要。
Python · NOASSERTION新★ 124 OraclesTech/guardian-sdk
Ethicore Engine® 是一个 AI 安全、伦理与合规平台。本仓库包含 Ethicore Engine™ 的开源组件 Guardian SDK，通过多层分析流水线保护 AI 应用免受提示注入、越狱、角色劫持、系统提示提取及 100 多种其他威胁类别的侵害
#C03 AI红队测试工具 / 框架adversarial-machine-learningagent-safetyagent-securityagentic-loopai-agentsai-safetyRust · Apache-2.0新★ 36 onsails/right-agent
运行在你的 Claude 订阅上的智能体。多智能体，默认沙箱隔离。精致的 Telegram 界面。
Python · MIT新★ 75 DaoyuanLi2816/RepoGuardBench
对本地编码智能体面临的仓库来源提示注入攻击及轻量防御进行基准测试。DL4C @ ICML 2026。
Go · GPL-3.0新★ 93 secnova-ai/ClawdSecbot
ClawdSecbot is a professional AI Bot security protection solution, providing security capabilities including real-time threat detection, prompt injection protection, and security auditing to comprehensively protect your AI applications. ClawdSecbot 是一款专业的 AI Bot 安全防护解决方案，提供实时威胁检测、提示词注入防护、安全审计等安全能力，全方位保护您的 AI 应用安全。
Python · MIT新★ 67 82ch/MCP-Dandan
面向 Agentic AI 的 MCP 安全方案 —— 实时代理、行为分析和恶意工具检测
Python · CC-BY-4.0新★ 13 fevziegeyurtsevenler/awesome-ai-security-tr
土耳其语 AI 安全资源——提示注入、越狱、红队测试、护栏、代理/MCP 与 RAG 安全。每条资源旁附土耳其语说明解释收录原因；失效链接由 CI 扫描。· 土耳其语 AI/LLM 安全资源列表
CC-BY-4.0新★ 11 fevziegeyurtsevenler/LLM-Security-Turkiye
土耳其语 AI 安全的开源框架：指南系列、实战学院、研究与实验、23+ 工具和 20 个 Hugging Face 数据集 + 模型。
TypeScript · Apache-2.0新★ 28 doronp/agentshield-benchmark
AI 代理安全工具的开源基准——提示注入、数据外泄、工具滥用、来源追踪
Python · MIT新★ 73 UseAI-pro/openclaw-skills-security
精选的、安全优先的 OpenClaw 技能（基于 Markdown），安全审计技能可检测提示注入、供应链攻击和凭据泄露，适用于 Codex CLI、Claude Code 及任意 LLM
Go · MIT新★ 15 mdombrov-33/go-promptguard
面向 Go 应用的 LLM 提示注入检测
Go · Apache-2.0新★ 28 controlplaneio/sandbox-probe
Agentic 沙箱枚举：发现安全问题，并为逃逸自动化提供种子。
Python · MIT新★ 19 Agentic-AI-Risk-Mitigation/Janus
面向 LLM Agent 的系统级安全：对工具调用实施细粒度策略，以防御间接提示注入。
#C03 AI红队测试研究 / 基准ai-agentsai-securityblackhat-arsenalindirect-prompt-injectionlangchainpolicy-enforcementPython · MIT新★ 20 GoldenWing-360/claude-security-skills
25 个经生产验证的 Claude Code 防御性安全技能——WordPress、VPS、Cloudflare、Next.js 加固、AI 代理护栏、MCP 安全、提示注入防御、OWASP LLM Top 10、LLM 编码失败模式（slopsquatting、幻觉 API、谄媚）、事件响应、GDPR/DACH 合规。MIT，久经实战。
Python · NOASSERTION新★ 111 DmitrL-dev/AISecurity
开源 AI 安全实验室：英俄双语学院、公开的 Rust 防御、研究与本地输入评估。通过 Spectorn 体验实时防护
NOASSERTION新★ 39 getagentseal/awesome-mcp-security
800+ 个 MCP 服务器的安全评分。9 个分析器扫描提示注入、有毒数据流和攻击面风险，每日更新。
JavaScript · NOASSERTION新★ 15 FarzamHabibi/pre-production-checklist
面向独立创始人的上线前检查清单。包含 4,573 个条目，87% 可移植到任意技术栈，另有 26 份技术栈补充——以及 AI/智能体安全和 AI 编程助手实际写出的 bug。
Python · MIT新★ 11 SyedAnas01/mcp-safeguard
🛡️ 面向 MCP (Model Context Protocol) 服务器的安全扫描器——提示注入、凭据暴露、SSRF、工具投毒及源码级凭据处理缺陷。pip install mcp-safeguard
HTML · MIT新★ 96 ZeroDayEvil/CVE-2026-41096-PoC
CVE-2026-41096（Windows DNSAPI.dll 堆溢出 / DNS-Mayhem 深度分析与审计模块）的官方 AI 安全工具模块。
MIT新★ 13 CloudDefenseAI/secure-agents-md
面向 AI 编码智能体的安全工作约定：加固的 AGENTS.md、提示词/工具注入防护、依赖卫生、符合 Scorecard 要求的开源配置。
CC-BY-4.0新★ 10 martinholovsky/awesome-llm-attacks
一份经过整理、映射到框架的 LLM 与 GenAI 系统攻击技术目录，交叉引用 OWASP LLM Top 10、MITRE ATLAS、OWASP ASI 和 MCP 安全。
Java · NOASSERTION新★ 16 Ratila1/JGuardrails
面向 Java LLM 应用的可编程防护栏，与框架无关的工具包，支持输入/输出校验、PII 脱敏和越狱检测，是 NVIDIA NeMo Guardrails 的 Java 替代方案
Python · Apache-2.0新★ 10 emarco177/agent-security
AI 代理安全实践资源：在部署到云端的 LangChain IT 服务台代理上演示 OWASP GenAI 的攻击、修复与验证。
JavaScript · MIT新★ 19 myProjectsRavi/sentinel-protocol
开源 AI 安全防火墙，内置 81 个引擎，支持 PII 检测、提示注入防御、MCP 安全与出站分类，本地优先、零云依赖。
MIT新★ 13 Panda1847/ai-security-lab
高级 AI/LLM 安全测试框架。包含 50 多种越狱技术、提示注入工具，以及面向 GPT-4、Claude、Gemini 等的自动化漏洞扫描器。
TypeScript · MIT新★ 24 sahiloj/MCPScan
攻击性 MCP 服务器审计器：在 stdio、HTTP 和 SSE 传输中检测工具投毒、凭据泄露、RCE 向量、SSRF、会话劫持和供应链漏洞。
Jupyter Notebook · MIT新★ 130 ErdemOzgen/RedAiRange
专业的 AI 安全靶场，用于红队、漏洞研究、防御验证和 AI/ML 安全实操培训。
Python · Apache-2.0新★ 28 atliq/guardex-ai
LLM 防护栏 Python SDK，提供安全分类、PII 检测、提示注入防御和依据性检查，无需外部 API 即可在本地保护 AI 应用，支持流式输出，可即插即用地集成到任意 LLM
GitHub新★ 157 requie/LLMSecurityGuide
保护大语言模型（LLM）的综合参考，涵盖 OWASP GenAI Top-10 风险、提示注入、对抗性攻击、真实事件和实用防御，并收录红队工具、防护栏和缓解策略目录，帮助开发者、研究人员和安全团队负责任地部署 AI
#C03 AI红队测试研究 / 基准ai-safetyai-securityai-security-toolgenerative-ai-securitygenerative-ai-security-assurancellm-securityPython · NOASSERTION新★ 12 9hannahnine-jpg/arc-gate
Arc Gate —— 带提示注入检测的 LLM 代理。Bendex Geometry。
MIT新★ 20 sonuoffsec/AI-Security-Hub
综合性 AI 安全中心，汇集载荷、速查表、动手实验、安全工具、MCP 安全、RAG 安全、智能体安全、CTF 挑战和研究资源
Python · MIT新★ 180 seojoonkim/prompt-guard
面向 AI agent 的高级提示注入防御系统。多语言检测、严重性评分和安全审计。
Python · MIT新★ 18 Acacian/aegis
面向 Python 的 LLM 防护栏与提示注入检测。自动接入 LangChain、CrewAI、OpenAI、LiteLLM 等 8 个以上框架，支持 PII 掩码、毒性检测和策略 CI/CD，一行接入、无需改代码。
Python · MIT新★ 13 hi-unc1e/Auto_JB_APE
引擎就一条回路：侦察 → 规划 → 提交 → 判定 → 变异。纯标准库，零框架依赖。内置裁判打 S/A/B/C，canary 或正则命中才算赢，没坐实的不提交。334 个测试离线全绿。CLI、Python API、MCP。One loop: recon → plan → submit → judge → mutate. Pure stdlib, no framework. The judge grades S/A/B/C — canary/regex hits are wins, unconfirmed never submit. 334 offline tests. CLI, Python API, MCP. Works good on HTB AI Red Teamer labs.
GitHub新★ 14 0xSweet/awesome-llm-security-alignment
LLM 安全与对齐相关研究论文、实验和资源的精选列表。
GPL-3.0新★ 21 AI-Security-Research-Group/LLM-Attacks
AI 安全漏洞、LLM 对抗攻击、提示注入技术和机器学习安全研究的综合分类体系。涵盖 71 种以上攻击向量，包括模型投毒、agentic AI 漏洞利用和隐私泄露。
MIT新★ 168 ZhengyuZhao/AI-Security-and-Privacy-Events
AI 安全与隐私学术活动精选列表
#C01 算法与数据安全研究 / 基准adversarial-examplesadversarial-machine-learningai-privacyai-securitydata-poisoning
Python · Apache-2.0新★ 43 OWASP/www-project-promptme
PromptMe 是一个教学项目，展示大语言模型（LLM）及其 Web 集成中的安全漏洞，包含 10 个受 OWASP LLM Top 10 启发的动手挑战，演示这些漏洞在真实场景中如何被发现和利用
NOASSERTION新★ 13 X-Scale-AI/GRITS
开源 AI Agent 安全框架，可对 AI Agent 进行评分、加固和治理，基于 DoD/DISA 零信任原则构建。
Python · Apache-2.0新★ 112 R3dShad0w7/PromptMe
PromptMe 是一个教育项目，展示大语言模型及其 Web 集成中的安全漏洞，包含 10 个受 OWASP LLM Top 10 启发的动手挑战，演示这些漏洞在真实场景中如何被发现和利用。
TypeScript · MIT新★ 80 securelayer7/PROMPTPurify
面向 LLM 应用的提示注入防护栏，紧凑模型性能超过更大的开源防护模型，不依赖正则和特征签名，演示地址：anton.securelayer7.net
Jupyter Notebook · MIT新★ 18 FareedKhan-dev/agentic-security-pipeline
一个自主智能体流水线，使用单个 7B 开源 LLM（Qwen2.5-Coder）在 vLLM 上端到端地发现、验证并修补真实的 C 语言内存安全漏洞，并以 AddressSanitizer 作为真值判定器。
Python新★ 12 anpa1200/AI-PT-Lab
故意留有漏洞的 AI 安全训练靶场，面向 LLM agent，演示 OWASP LLM Top 10 2025：RAG 注入、工具滥用、记忆投毒、供应链攻击、数据外泄等
Rust · Apache-2.0新★ 10 akav-labs/agentsentry-gateway
面向 LLM Agent 的透明 OpenAI 兼容安全网关——在出口处进行 DLP、密钥泄露、越狱和提示注入检测。是 Akav Labs 出品的 AgentSentry 的开源核心。
HTML · MIT新★ 43 aira-security/Vulnerable-AI-Chatbot
一个故意留有漏洞的 AI 聊天机器人，用于学习和练习 AI 安全
Python · MIT新★ 75 olegnazarov/rag-security-scanner
RAG/LLM 安全扫描器，可识别 AI 应用（包括聊天机器人、虚拟助手和知识检索系统）中的关键漏洞。
Python · MIT新★ 53 techlab-innov/llmtrace
零代码 LLM 安全与可观测性代理。为 OpenAI 兼容 API 提供实时提示注入检测、PII 扫描和成本控制，使用 Rust 构建。
NOASSERTION新★ 11 neveratech/owasp-llm-top10-tr
OWASP GenAI LLM Top 10 2026——非官方土耳其语翻译（CC BY-SA 4.0）
Python · Apache-2.0新★ 10 Helixar-AI/sentinel
Helixar 出品的 MCP 安全扫描器
Python新★ 10 r00tb3/RAG-Poisoning-Lab
RAG 投毒实验——教学用 AI 安全练习。
Svelte · MIT新★ 15 0-Vault/Vault-0
Vault-0：面向 OpenClaw 的代理安全、监控与 x402 钱包。加密密钥保险库、实时代理监控、策略执行和原生 x402 支付——使用 Rust + Tauri 构建。
TypeScript · MIT新★ 16 Arnoldlarry15/ARES-Dashboard
AI 红队运营控制台
MIT新★ 22 Helixar-AI/mcp-security-checklist
MCP 正被快速采用，安全指引却相对滞后。这份清单为安全工程师、平台团队和技术负责人提供清晰可执行的基线，用于保障 MCP 部署安全，无论你是在交付内部工具还是面向客户的 AI agent。
Python · MIT新★ 10 mirseo/string-formatter
用 Rust 编写的高性能字符串格式化器。该项目可检测并阻止 LLM 提示注入和越狱攻击，还提供可定制的基于规则的系统，并能防御混淆式提示攻击。
Go · MIT新★ 140 makalin/SecureMCP
SecureMCP 是一款安全审计工具，用于检测使用 Model Context Protocol (MCP) 的应用中的漏洞和错误配置。它主动识别 OAuth 令牌泄露、提示注入漏洞、恶意 MCP 服务器和工具投毒攻击等威胁。
GPL-3.0新★ 15 rushout09/llm-security-startups
全面精选的 LLM 安全初创公司列表。