hashgraph-online/hol-guard
面向 AI agent 的开源杀毒软件:在运行时拦截高风险工具、机密访问、提示注入、恶意软件包、MCP 服务器、插件和技能。
AI 安全相关的开源项目、工具与仓库动态,按内容类型筛选,支持搜索。
面向 AI agent 的开源杀毒软件:在运行时拦截高风险工具、机密访问、提示注入、恶意软件包、MCP 服务器、插件和技能。
面向 AI 编码代理的上下文窗口优化工具,沙箱化工具输出(减少 98%)、持久化会话记忆,并通过 MCP + hooks 在 17 个平台间强制路由。
代理式 LLM 漏洞扫描器 / AI 红队工具包
面向 AI 智能体技能的 security scanner。在安装前检测 Claude Code、Codex 和 MCP 技能中的漏洞、恶意模式、安全风险、提示注入、数据外泄和供应链风险
AI 系统对抗测试与安全评估的综合指南,帮助组织在攻击者利用之前发现漏洞。
免费开源、AI 驱动的安全终端与漏洞扫描器(CVE、SBOM)。支持 SSH、SFTP、RDP、VNC、串口,以及 12+ 个自主 AI agent(DeepSeek、OpenAI),用于自动化安全工作流、CTF 和 DevSecOps,跨平台并带 Web UI。
AI 红队演练场实验室,用于开展包含基础设施在内的 AI 红队培训。
面向 MCP 安全和智能体出口的开源 AI 智能体防火墙。扫描经其代理的 HTTP、MCP、A2A 和 WebSocket 流量,检测数据外泄、SSRF 和提示词注入,并生成由中介签名的操作回执:来自智能体外部的可验证审计证据。
Superagent 保护 AI 应用免受提示注入、数据泄露和有害输出影响。将安全能力直接嵌入应用,并向客户证明合规性。
GPT 系统提示词合集以及各种提示注入/泄露知识
LLM 漏洞扫描器
本文档汇集了 AI 渗透测试、LLM 红队、自主攻击代理和漏洞发现领域的开源项目、学术论文、能力基准及商业解决方案(国际与中国),旨在帮助研究人员、安全工程师和企业决策者快速形成全局认识。
Open-source AI security harness. Includes a web UI for code analysis, pentesting, vulnerability research, reverse engineering, verification, and fixing + CLI and MCP for agents.
AIGoat——开源 AI 安全演练场,用于动手进行 LLM 红队测试。通过本地运行的实战攻击实验、CTF 挑战和渐进式防御,探索提示注入、RAG 投毒、AI 智能体、MCP 安全和 OWASP Top 10 for LLM Applications
灵枢(SpiritScout)|基于 LLM 的多智能体安全测试系统,通过动态任务规划与专项智能体协作,支持 SRC 漏洞挖掘、CTF 解题与自动化渗透测试。An LLM-powered multi-agent security testing system for vulnerability research, CTF solving, and penetration testing, with dynamic task planning and parallel collaboration.
用于威胁建模、扫描、分诊、修补的技能,外加一个可 /customize 的自主扫描框架。
这个 GitHub 仓库汇总了四大顶级学术会议上关于 AI 安全的研究论文列表。
Enterprise-grade automated AI Agent Red Teaming & Security Auditing platform targeting OWASP Top 10 for LLMs.
Adversarial Robustness Toolbox(ART)——用于机器学习安全的 Python 库——规避、投毒、提取、推理——红队与蓝队
Coding agent with structural resistance to indirect prompt injection
生成式 AI 与 Agentic AI 安全事件的单一事实来源,映射到 OWASP LLM Top 10、OWASP Agentic Top 10(ASI)、NIST AI RMF 和 MITRE ATLAS。
AIRT——免费开源的 AI 红队课程,包含 8 个模块和动手 Docker 实验。使用 Perplexity Computer 构建。
智能体运行时安全——零信任、零配置、零延迟的智能体沙箱。
全栈 AI 红队测试平台,通过 Agent Scan、Skills Scan、MCP scan、AI Infra scan 和 LLM 越狱评估来保障 AI 生态安全
面向 AI 应用和 agent 的运行时安全:提示注入检测、工具调用授权、敏感数据脱敏、机器人防护和限流。可直接接入你的 JS/TS 代码。
Open-source agentic security operations platform:
面向模型产物、在线端点、MCP 服务器和录制的 agent 轨迹的开源 AI 安全验证工具,为发布决策提供可复现的证据。
面向 AI 代理的自托管运行时控制平面。在恶意工具调用执行前进行观察、人工审批或阻断:密钥泄露、提示注入、供应链等,均在本地仪表盘中处理。与代理无关(Claude、codex、langchain 等)。
OpenClaw 的替代方案,支持文本与语音自然对话,可选择不使用语言模型,默认识别意图与语义,无提示注入风险,保留 OpenClaw 九成以上功能并附带 TTS 与语音转文字。
LLM 越狱研究趋势分析仓库
面向 AI 代理安全威胁的开放检测规则标准——类似 Sigma,但针对 AI 代理。提供可执行、可测试的规则,覆盖提示注入、工具投毒、上下文窃取和 MCP 攻击。已合并进 Microsoft、Cisco、Gen Digital、MISP 和 FINOS 的开源项目。MIT 许可。
开源自主 AI 渗透测试工具。50 个专家 agent 覆盖 Web、API、云、Active Directory、Kubernetes、CI/CD 和 AI/LLM(OWASP LLM Top 10)。在 Privacy Gateway 后运行本地 LLM,并与 GitHub、GitLab、Jenkins、VS Code、JetBrains、n8n、Grafana 和 Splunk 集成。
面向大型语言模型应用的 OWASP Top 10(GenAI 安全项目的一部分)。
AI 原生的 TypeScript 机器人框架——一套代码适配 20 多个聊天平台(QQ、Discord、Telegram、Slack、微信等)。可选启用带 MCP、工具和安全策略的 AI agent。核心小于 10MB。
每日跟踪 arXiv 上的 LLM Agent 安全论文。
用于与 AI 编码智能体协作的安全本地开发环境。
Curated list of Telegram channels and chats on AI Security, AI/MLSecOps, LLM Security
VibeTags 是一个 Java 注解处理器,为 Cursor、Claude、Gemini、Codex CLI 等代码生成工具充当 AI 护栏。开发者通过简单注解控制 AI 行为,保护关键代码并引导 AI 的实现。
Security-testing methodology as portable, tool-agnostic agent skills for Claude Code and any agent runtime: white-box bug hunting, AI-agent and LLM red-teaming, supply-chain risk, and appsec depth.
open-appsec 是一个机器学习安全引擎,可主动自动防御针对 Web 应用和 API 的威胁。本仓库包含主要代码和逻辑。
攻破应用集成 LLM 的新方法
为你的 Claude Code 技能、子智能体和 MCP 服务器做「配对」:划掉浪费上下文的,扫描提示注入,获取真实的 token 开销。发现问题就修复并真正删除。零依赖,支持 Claude Code + Codex。
此仓库由 Omar Santos(@santosomar)维护,收录数千份与道德黑客、漏洞赏金、数字取证与事件响应(DFIR)、AI 安全、漏洞研究、漏洞利用开发、逆向工程等相关的资源。另见:https://hackertraining.org
精选的 AI 安全与 AI 辅助网络安全公开来源、研究和商业工具列表——涵盖自动分诊、智能体安全、AI/ML 供应链、渗透测试智能体、AI SAST、LLM 驱动的模糊测试、威胁情报、SOC/SIEM 分诊、逆向工程、LLM 红队测试等
AI 安全资源中心
大模型安全、安保与隐私的阅读清单(包括 Awesome LLM Security、Safety 等)。
开源 AI 摄像头技能平台、AI NVR 与闭路电视监控。使用 Qwen、DeepSeek、SmolVLM、LLaVA、YOLO26 进行本地 VLM 视频分析。由 LLM 驱动的代理式安防摄像头代理——通过 Telegram、Discord 或 Slack 观察、理解、记忆并守护你的家。可插拔 AI 技能。支持 OpenAI、Google、Anthropic 或本地 AI。可在 Mac Mini 和 AI PC 上运行。
DVLAA(Damn Vulnerable LLM and Agent Application)是一个本地 LLM 与 Agent 安全靶场,用于 OWASP LLM Top 10 和 Agent 安全培训。
精选的攻击性、防御性及 AI/LLM 安全工具合集。
AI 安全相关资源的精选合集
Carefully human hand written llm jailbreaks for the latest models that are available on the market. GPT-6 Astra, GPT-6.1 SoL, Opus 4.7, Opus 4.6, Sonnet 4.6, Haiku 4.5, Deepseek V4, Deepseek Flash, DeepSeek V4.1 Pro / Flash, Qwen 3.8 MAX, Qwen 3.8 Omni-Flash, Qwen 3.7 etc
OpenClaw 执行防火墙——Seccomp 锁定的 AI agent 沙箱,具备策略强制执行的命令治理、WhatsApp/Telegram 集成和 Python 隔离,可部署在 Oracle Cloud 免费层。
用于评估和改进 LLM 安全性的工具集。
MCP 提示注入扫描代理——为 MCP 工具响应提供运行时安全
面向 AI 编码智能体(Claude Code、opencode、pi)的沙箱:每个项目运行在隔离的 microVM 中,密钥在宿主机侧注入。支持 Linux/KVM 与 macOS。
AI jailbreaks: 35 paste-ready AI jailbreak prompts for 25+ frontier and open-weight models - system prompts, AGENTS.md specs, and Ollama Modelfiles. Built for AI security research and red-team testing.
面向 OWASP 安全最佳实践(2025-2026)的 Claude Code 技能,涵盖 Top 10:2025、ASVS 5.0、Agentic AI 安全,以及 20 多种语言特有的安全陷阱。
22 个面向网络安全从业者的生产级 Claude Code Skills,涵盖攻击性安全、防御运营、逆向工程、威胁狩猎、威胁情报、紫队/对手模拟、CSOC 自动化、AI/LLM 安全、移动安全、OT/ICS、GRC、软件供应链安全等。
面向 Symfony 应用的 AI 驱动多代理安全审计器,通过 symfony/ai 实现提供商无关。
由 Mr-Infect 打造的 AI/ML/LLM 渗透测试工具集——GitHub 上 AI 安全、红队和对抗性机器学习技术的首选资源。该仓库专注于针对前沿 AI、机器学习(ML)和大语言模型(如 ChatGPT、Claude、LLaMA)的攻防安全。
AI 安全与提示注入载荷工具集
精选的 AI 护栏资料列表
🛡 一站式渗透测试 AI 聊天机器人与 LLM 应用的参考手册。提供可直接使用的载荷,覆盖 OWASP LLM Top 10 全部条目以及前沿攻击向量(MCP · RAG · A2A · computer-use · 语音)。
从原理到实践,全面掌握大语言模型安全攻防之道 | Latest security techniques with LLM and AI Agent
Multi-tier firewall for AI agents — blocks prompt injections, jailbreaks, and scope violations. Local tiers first; LLM judge only when uncertain.
LLM 越狱、ChatGPT、Claude、Llama、DAN 提示词、提示词泄露
面向 AI 代理的黑盒开源红队测试工具。可指向任意 HTTP、gRPC 或使用浏览器的代理端点,运行 205 个探测项,对应 OWASP LLM Top 10 / MITRE ATLAS / NIST AI RMF,包括支付和 MCP 工具滥用类,其判定基于捕获的证据而非 LLM 意见。报告会说明哪些内容未被测试。提供 SARIF、CLI、GitHub Action。
为 Claude Code、Codex、Copilot、Gemini CLI 等减少 token 消耗并保持专注:精准读取提示、PDF/Office/CSV/markdown 文件拦截、205+ 条过滤与拦截规则、紧凑清单注入、图片压缩、缓存与压缩技能、缓存 MCP 调用、提示注入防护等。
一个用于检测Model Context Protocol (MCP)安全性的Chrome扩展工具。
AIGoat:一个故意存在漏洞的 AI 基础设施。通过解决挑战来学习 AI 安全。
AI 安全扫描器——测试你的 AI 系统是否存在提示注入和提取漏洞
面向并行编码 agent 的开源 agent 沙箱基础设施:隔离工作区、MCP/CLI 控制、可观测性和原子发布。
AI 红队工具与 LLM 安全框架,用于评估 Agentic AI 应用。测试提示注入、执行漏洞评估、生成 SBOM 并进行静态分析。
面向所有编码代理的自动模式,基于 Jev:结合会话上下文对每次工具调用进行风险评分(拒绝/询问/允许),标记结果中的提示注入,检查技能和插件。支持 Claude Code、Codex、Copilot、Gemini、Cursor、pi、OpenCode、ACP。
Agentic AI 安全扫描器,像攻击者一样搜寻可利用漏洞,用可执行的 PoC 加以验证,并以测试先行的方式修复。它是 Capital One VulnHunter 的维护分支,已针对任意 agent 框架重建。
AI agent 安全扫描器。检测 agent 配置、MCP 服务器和工具权限中的漏洞。提供 CLI、GitHub Action、ECC 插件和 GitHub App 集成。
提供一组沙箱、利用代码和教程,作为 GenAI 红队演练的示例,帮助安全研究人员和开发者测试、探测和评估基于 GenAI 的应用的安全性与防护能力。
面向 AI 编码助手的 UX/UI 评估、AI 治理和 AI 安全技能:用 Nielsen 启发式、WCAG、Don Norman 原则审计界面;用 NIST AI RMF、ISO 42001、OWASP LLM Top 10 和 OWASP AI Testing Guide 评估 AI 风险
论文《Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks》的代码仓库。
Agent Security Bench(ASB)
一种通过伪造内部状态实现的新型提示注入方法,由一名高中生发现。
论文《AgentDyn: Are Your Agent Security Defenses Deployable in Real-World Dynamic Environments?》的官方实现。
最轻量的 AI 沙箱。面向 Linux 的基于进程的沙箱,无需容器、无需虚拟机、无需特权,可防提示注入
面向 AI 代理的安全邮件代理——通过 MCP 实现内容过滤、PII 脱敏和提示注入检测
用于 AI 红队及其他用途的载荷集合
面向安全研究人员的技能、agent、命令和工作流集合,兼容 Claude Code、Claude Desktop、OpenCode 等 AI 编码工具。
开源运行时 AI 代理安全工具——实时监控和控制 AI 代理,在代理行动之前捕获恶意工具使用、提示注入和策略漂移。
开源 LLM 红队技术工具包(162 种变换、36 种变异器、25 个工具面)。MIT。
关于 LLM 安全的优质工具、文档和项目精选。
完整的黑客与渗透测试路线图,从入门到精英。44,982 行、150+ 张图表,覆盖 OPSEC、Web 安全、Active Directory、二进制漏洞利用、EDR 规避和 0-day 研究。包含 300+ 工具、200+ MITRE 技术、C 与 Rust payload、实验指南、书籍、课程、博客、练习平台和 AI 安全资源。
面向 AWS 的 AI/ML 与生成式 AI 安全评估框架。自动审计 Amazon Bedrock、SageMaker、AgentCore 和 Agent Registry 工作负载的安全最佳实践
位于 AI 智能体与其工具、网页和 Matrix 之间的 MCP 网关:三层提示注入防御、更精简的工具列表与响应、网关强制的参数与响应防护、OAuth/DCR,以及按智能体区分的配置。
面向 LLM 代理的静态安全扫描器——提示注入、MCP 配置审计、污点分析。51 条规则映射到 OWASP Agentic Top 10 (2026)。支持 LangChain、CrewAI、AutoGen。
面向初学者的 AI/ML 渗透测试路线图
Arcanum 提示注入分类法
面向 LLM 与 Agentic AI 应用的白盒与黑盒 AI 红队框架。它分析应用源码以发现工具、角色和护栏,然后跨多个类别生成新的攻击链,并在多轮多轮交互中自适应以发现漏洞
一个速度极快的 AI 网关,内置防护栏。通过一个快速友好的 API 路由到 1600+ LLM 和 50+ AI 防护栏。
来自 Cisco 的智能体 AI 安全评估与测试开放规范。
面向 AI 应用和代理的运行时安全:提示注入检测、工具调用授权、敏感数据脱敏、机器人防护和速率限制。可直接嵌入 Python 代码。
论文《Defeating Prompt Injections by Design》的代码
面向 AI 代理的安全工具集。扫描本机中危险的技能与 MCP 配置,监控供应链攻击,测试提示注入抵抗力,并审计在线 MCP 服务器的工具投毒问题。
Basilisk——开源 AI 红队框架,支持遗传式提示词进化。面向 GPT-4、Claude、Grok、Gemini 的自动化 LLM 安全测试,覆盖 OWASP LLM Top 10,包含 32 个攻击模块。
自动化多轮 LLM 红队测试流水线,让攻击者模型对抗目标模型以评估安全边界,具备 LLM-as-a-Judge 评分和交互式 HTML 漏洞仪表盘。
Watchtower | Self-hosted AI security assessment, asset intelligence, and evidence workflows.
面向 LLM 应用的提示注入检测和加权 strike 锁定,支持英语和葡萄牙语,零运行时依赖。
零依赖的 Web Crypto 套件与 Model Context Protocol (MCP) 服务器,支持 AES-256-GCM、RSA-4096 及 AI 智能体安全。
高性能零依赖静态分析工具,在 20 种编程语言中强制执行 NASA Power of Ten 规则,并审计 AI agent 技能、MCP 服务器配置、提示模板和 LLM 模型安全。
面向 AI 编程智能体的可移植、自包含沙箱——microVM、容器、隔离框架。
在 HPC 系统上借助 slurm 为 AI 智能体提供沙箱。
与 GenAI 和 LLM 安全相关的链接、参考资料、书籍视频、教程(免费或付费)、漏洞利用、CTF、黑客实践等精选列表
LLM Jailbreaking Guide主流大语言模型越狱指南
面向 Web、API 和 LLM 应用安全的本地优先 AI 红队工具,具备攻击者式推理、有证据支撑的发现,以及供 AI 编码代理使用的技能。
面向 AI 编程智能体的上下文窗口优化。对工具输出进行沙箱化(减少 98%),通过 SQLite + FTS5 持久化会话记忆,并通过 MCP + hooks 在 17 个平台上执行路由。可与 Claude Code、Gemini CLI、VS Code Copilot、OpenCode、Codex CLI 配合使用。
OWASP GenAI 数据安全计划——用于保障生成式 AI 系统数据安全的分类体系、对照映射、数据集和工具。
#AISecurity
MCP 安全包装层
LLM 安全测试框架,用于检测提示注入、越狱和对抗攻击——190+ 探测项、28 家提供商、单个 Go 二进制文件
最全面的开源 OWASP GenAI 风险到行业框架映射——70 个映射文件、25 个框架、1016 项控制、125 起事件,以及 ML 分类器流水线。来源列表包括 LLM Top 10、Agentic Top 10、DSGAI 2026、EU AI Act、NIST、ISO、SOC 2、FedRAMP、DORA、OT/ICS、MITRE ATLAS。
AI 安全、LLM 安全和提示注入工具与资源的精选合集
Claude Code 的加固安全配置:权限拒绝规则、shell 钩子和提示注入防御,提供完整版和精简版。
面向 AI 生成应用的本地优先 MCP 安全扫描器。可在 Claude Code、Cursor、Codex 等代理中执行扫描 → 修复 → 重新扫描。
用于 MCP 的 Spring Security 配置
MCP security scanner & config linter for AI coding agents. Finds leaked secrets, risky commands, broad permissions and invalid MCP servers in Claude Code, Cursor and VS Code (Copilot) configs. Local-first CLI, no telemetry.
面向 Solana 程序和软件的 Claude Code / agentic 安全技能。覆盖完整审计公司生命周期,交付可执行 PoC 和修复补丁,包含 Rust 预扫描器与交叉审计记忆、20 份清单中的 1,346 项检查,以及 131 个真实攻击向量。
CVPR 2025,通过多轮一致性对联邦学习实施模型投毒攻击
面向调用工具(通过 MCP、CLI 或直接函数调用)的 Agent 的开源提示注入防护。检测并防御提示注入攻击。22MB,仅用 CPU,延迟低于 10ms。
一个故意留有漏洞的 OWASP LLM Top 10 训练平台,用于 AI 安全、提示注入、RAG 安全、agent 安全和 GenAI 渗透测试。
AI 安全自动化平台。可构建可视化工作流、部署自主 agent,并自动化威胁检测与响应,提供 80 多个与 SIEM、EDR、工单和云工具的集成,是自托管 SOAR 的替代方案。
AI 智能体安全生态的实时全景图
PromptInject 是一个以模块化方式组装提示词的框架,用于定量分析 LLM 对对抗性提示攻击的鲁棒性。🏆 获 NeurIPS ML Safety Workshop 2022 最佳论文奖
AI 防火墙与 LLM 安全工具包——保护 AI 应用免受提示注入、越狱、PII 泄露和对抗性攻击
OWASP MCP 安全测试指南。
用 Rust 编写的 LLM 安全代理
面向 AI 工程师/前向部署工程师(FDE)技能集的实战型无框架 Colab notebook——涵盖模型 API、结构化输出、工具调用、RAG、以评估为主线的流程、agent(从零实现循环、工具设计、防护栏、MCP、Skills)、微调与 LoRA 对比、提示注入/安全、LLMOps 和客户沟通技巧,可在免费的 Groq API 上运行。
论文《RL is a hammer and LLMs are nails: A simple RL approach to stronger prompt injection attacks》的官方代码发布
了解一种专门针对机器学习模型的漏洞类型
面向对 AI 红队、越狱和提示注入感兴趣者的精选资源列表
prompt attack-defense, prompt Injection, reverse engineering notes and examples | 提示词对抗、破解例子与笔记
由 Rust 驱动的代码扫描器,直接读取代码库而不消耗额外 token,提供 29 个 MCP 工具,涵盖安全漏洞、死代码、健康检查、存档点与冻结文件检测。
Chinese-first LLM jailbreak benchmark & red-team toolkit | 中文LLM安全评测框架 | by POJIA.AI
AI 模型安全阅读笔记
面向 AI 编码代理的安全扫描 MCP 服务器。提示注入防火墙、包幻觉检测(430 万+ 包)、1000+ 条漏洞规则(含 AST 与污点分析)、自动修复。
This repository is maintained by Taro and includes thousands of resources related to ethical hacking, bug bounties, digital forensics and incident response (DFIR), AI security, vulnerability research, exploit development, reverse engineering, and more. 🔥 Also check: https://hackertraining.org
针对 AI API 中转和 LLM 代理的本地安全审计:检测提示注入、模型替换、工具调用改写、SSE 异常、错误信息泄露和 Web3 钱包风险
面向 AI 模型鲁棒性研究、红队演练和防御评估的越狱与提示注入实验精选归档。
AI 智能体安全测试框架,对抗性测试:v4.28.0 版本包含 649 个可执行测试,覆盖 MCP、A2A、x402/L402、决策治理、基准完整性、人在回路、技能供应链。四种目标形态:判定必须既可能出错,也可能正确。对应 OWASP Agentic v1.1 T1-T17、AIUC-1 19/20(2026-Q1/Q2 集)、NIST AI 800-2。
AI 安全验证标准(AISVS),为开发者、架构师和安全专业人员提供结构化检查清单,用于验证 AI 驱动应用的安全性。
AI 安全代理守护你的代码。
精选的 LLM 安全工具、研究与文档
面向工程师的提示注入入门指南
自托管的 AI 安全代理,可脱敏 PII、拦截提示注入,并路由到任意 LLM 提供商,兼容 OpenAI 接口。
一条命令即可在安全、安保、越狱、提示注入和安全编码任务上对 AI 防护栏和编码 agent 进行基准测试
自托管的 LLM 安全代理。提供 PII 脱敏、提示注入防御,符合 KVKK/GDPR/PCI-DSS,延迟低于毫秒级。
基于机制的 40 种 LLM 越狱模式分类,涵盖 10 个类别。针对 2026 年 6 月前沿模型(Claude Opus 4-8、GPT-5.5、Gemini 3.5、DeepSeek V4)的 8000 次试验自举评估。每条引用均经直接 WebFetch 验证;被驳斥的说法也有记录。
LMAP(large language model mapper)相当于面向 LLM 的 NMAP,是 LLM 漏洞扫描器和零日漏洞模糊测试工具。
精选的 MLSecOps 工具与资源列表,用于保护机器学习和 AI 系统——涵盖对抗性 ML 防御、LLM 安全、AI 红队测试、模型扫描、供应链防护和 MLOps 流水线安全
[un]prompted 2026(AI 安全从业者大会,3 月 3-4 日,旧金山)全部可用演讲幻灯片的社区合集。
开源跨模态与多模态提示注入测试套件。包含覆盖文本、图像、文档和音频模态的 25 万+ 攻击载荷。研究依据来自 OWASP LLM Top 10、CrossInject(ACM MM 2025)、FigStep(AAAI 2025)、DolphinAttack 和 CSA 2026。
精选的 Agentic MCP 安全资源列表
通过一系列存在漏洞的 LLM CTF 挑战学习 AI 安全,无需注册、无云费用,全部在本地运行
DARWIN 是一个自进化 LLM 越狱框架,通过外部提取、沙箱过滤、历史记忆检索、基于马尔可夫的策略选择以及反思/遗传进化,培育可复用的策略池。
针对提示注入的各种实用与提议防御方案。
Free prompt injection CTF: 16 LLM security missions plus a 30-mission Agentic Security Lab (OWASP Agentic Top 10), defender mode, optional live-model grading. No signup.
DeepSec —— AI 安全攻防平台。Shield 实时审计 AI 生成的代码,检查幻觉包、缺失防护和 AI 模式错误。Spear 用 40+ 技能包自动化授权渗透测试,从侦察到 PoC。
DeepSeek Harness 的只读安全与合规插件:提示词注入检测、中文 PII 脱敏,以及本地配置审计,输出经过脱敏、可复现的报告。
CVE-2026-54121(Certighost——AD CS 域控制器冒充与 PKINIT 提权)的官方 AI 安全工具模块。
不信任任何东西,安全交付。——面向 AI 代理的怀疑式阅读与提示注入防御技能。来源标记、红旗模式、拒绝模板以及只读注入审计器。MIT。
Agentic AI 十大风险(AI agent 安全)是 OWASP 和 CSA 红队工作的核心
AHA 是面向智能体安全的自动研究:一个智能体在一夜之间对生产智能体进行红队测试,并带回可复用的解释,说明该智能体为何失效,随时可用于新任务。
用于提示注入、越狱 LLM 和绕过 AI 过滤器的 AI 黑客技巧,适合测试 AI 安全漏洞的道德黑客和安全研究人员。一个 README.md 汇集实用的 AI 提示工程技巧。
用于评估和利用的简易提示注入工具包
保护 AI 系统的精选资源、研究与工具
在攻击者之前发现代码中的 AI/LLM 安全漏洞,覆盖提示注入、MCP 工具投毒、RAG 数据投毒等。
MCP 安全与最佳实践的引导式实验环境
生产级 LLM 安全防火墙,具备双向强制执行、对抗性输入扫描和实时运维控制台,使用 FastAPI、Kafka 和 Docker 构建
AI / LLM 红队实战手册与顾问指南
用于审计 AI 智能体技能的安全 CLI,可检测提示词注入、密钥泄露和危险代码模式。
全球首个开源的全自主 AI 安全工程师。
深入 LLM 安全领域:探索攻防工具,揭示其当前能力
面向 AI 代理的安全代理。扫描每条消息中的提示注入、PII 和密钥。纵深防御:Go 代理 + iptables 防火墙 + eBPF 内核监控。YAML 策略引擎、审计日志、5 个带 RAG 知识库的 AI 代理。
🌟 开源 AI 代理安全基础设施——在危险代理行为发生前拦截并阻止。只需一条命令!加入我们,共建更安全的人机共生!
我用于 AI 红队的脚本和速查表,其中许多脚本和速查表基础来自 Digital Andrew。
AI 安全技能列表
一个 AI 攻防知识库。A knowledge base for AI security.
用于对 AI 模型和系统开展以人为中心的红队评估的平台
汇总我在 OpenAI、Gemini、Grok 及其他 LLM 上发现的越狱、提示注入和相关漏洞利用。
🛡️ 大模型攻防渗透测试靶场 · 提示注入CTF / OWASP LLM Top10 / 脆弱Agent / 资料聚合。目标模型可切换:DeepSeek直连、OpenRouter中转站(国产+国外十余款小模型)、本地Ollama(DeepSeek-R1 8B离线)。一键本地部署。
用于评估 AI agent 沙箱的开放分类与评分框架:7 个防御层、7 类威胁、3 个评估维度,对 27 个“沙箱”进行评分。
PromptGuard 是单文件 AI 安全平台,实时扫描用户提示并将其分类为 SAFE、SUSPICIOUS 或 DANGEROUS
用于 AI 代理安全监控的 Sigma 检测规则
Damn Vulnerable AI Application——用于 LLM 红队训练,涵盖 LLM 测试、RAG 测试、多模态测试、Agent 测试和 LLM payload 生成。
面向 LLM 智能体的省 token 网页微抓取工具:任意 URL → 干净 markdown,提供 CLI、MCP 服务器和 Claude Code 插件。支持真实浏览器 Cookie 认证、passkey、反爬绕过,默认开启提示注入防御,并具备端侧多模态 ASR/OCR。单个 Rust 二进制文件——不是浏览器。
开放的智能体安全基准,包含 222 个攻击场景、与产品无关的适配器接口,并映射到 MITRE ATLAS。
🛡 Official AI Security Tool module for CVE-2026-75604 (Next.js Windows Unauthenticated Remote Code Execution) with safe in-app execution, deep vulnerability validation, and DevSecOps-ready security auditing workflows.
[USENIX Sec'25] StruQ:用结构化查询防御提示注入的官方实现。
来自论文《Student-Teacher Prompting for Red Teaming to Improve Guardrails》的 LLM 红队数据集,用于 2023 年 ART of Safety 研讨会
精选的 LLM 红队测试培训、资源和工具列表。
面向 AI 编码 agent 的 191+ 个久经实战检验的网络安全技能,涵盖漏洞赏金、渗透测试、红队和 AI 红队,兼容 Claude Code、Cursor、Copilot。
面向 MindSpore 用户的工具箱,用于增强模型安全性和可信度。
绕过 LLM 防御层(从输入过滤到持久内存利用)的诊断方法。
论文《AutoDojo: A Generative Benchmark for Evaluating Prompt Injection Defenses in LLM Agents》的代码
OWASP 机器学习安全 Top 10 项目
AI 红队平台。自主 LLM 智能体在 Kali 容器内端到端执行渗透测试并撰写报告。采用 LangGraph 计划/执行引擎,通过 LiteLLM 接入各厂商模型,输出 PDF/JSON/SARIF。技术栈为 FastAPI + React。
该项目通过对一组输入提示进行二分类来研究大语言模型的安全性,以发现恶意提示。已使用经典机器学习算法、预训练 LLM 模型和微调 LLM 模型分析多种方法。
一份以证据为导向的精选指南,涵盖 AI 赋能安全与 AI 自身安全。包括防御研究、智能体安全、MCP 安全、AI 红队测试与评估、授权测试工作流和检测工程
AI 编码代理沙箱平台
LLM 越狱学术论文精选
用于检验邮件安全控制和 AI 邮箱助手如何处理间接提示注入的 .eml 邮件开放测试集。它将三种意图(系统提示词泄露、数据外泄、工具发现)与三种投递方式(明文、隐藏 HTML、Base64)交叉组合,并附带一个良性对照。所有内容均为虚构且不可路由。
Blitz Strike——通用 MCP 安全审计工具带。快速侦察、深入分析、先验证后出报告。
你的智能体本身就是安全风险,那就按风险来对待。yoloAI 正确地实现了 AI 智能体沙箱隔离。
[EMNLP 2025 Oral] IPIGuard:一种基于工具依赖图的新型防御方法,用于抵御 LLM 智能体中的间接提示注入。
功能完备的 GUI 驱动本地 LLM 代理沙箱,完整支持 MCP 协议,提供 CLI 与桌面环境,让 AI 代理像人类一样操作浏览器、终端等桌面应用,基于 E2B 开源代码构建。
Self-hosted model routing gateway and agent control plane for OpenAI, Anthropic, Gemini and A2A agents behind one OpenAI-compatible API, protocol-first. MCP server security, governed tools, prompt enhancement, virtual-key budgets, cache, observability, audit chain and agent governance. Zero-key local first run; public preview.
通过分析激活模式,在部署前验证语言模型的安全性
扫描代码库中的 AI SDK、MCP 服务器和 agent 工具;将风险映射到 NIST AI RMF、ISO 42001、EU AI Act 以及 OWASP LLM 与 Agentic Top 10
在一个 GitHub 仓库中汇集 LLM、智能体、安全与运营内容,配有优质链接和图片
基于透明日志的 MCP 工具模式来源验证,使用 Sigstore/Rekor 检测 rug-pull、工具投毒和工具遮蔽攻击。
打造最强的AI安全文档
针对 OpenClaw 代理的本地只读安全审计工具,可发现配置、提示注入与供应链风险,监控漂移并在安装前审查技能,完全离线、零依赖,五层检测后给出 A–F 评级。
0DIN Sidekick 是一款面向 AI 安全研究人员的 Firefox/Chromium 扩展,可简化跨多个提供商的 LLM 越狱测试与漏洞发现。
SlowMist 代理安全技能:面向在对抗环境中运行的 AI 代理的综合安全审查框架。核心原则:每个外部输入在验证前都不可信。
AI 安全精选列表 / 学习路线
CVE-2026-42978 Windows 推送通知(WpnService)释放后使用与竞态条件漏洞的 PoC 研究、诊断扫描器,以及 AI Security Tool 的安全审计模块。
🛡️ Official AI Security Tool module for CVE-2026-20817 (Windows Error Reporting WER ALPC Local Privilege Escalation PoC).
Free, MIT-licensed MCP security testing from ClearFrame. Scan, audit, compare, and review locally; continue in the ClearFrame CLI or Mac app.
面向渗透测试人员、漏洞赏金猎人和安全研究员的 AI 安全资料与资源精选列表。
[ACL 2026] PIArena: A Platform for Prompt Injection Evaluation
面向集成 LLM 应用的自动化提示注入框架。
Burp MCP 安全分析工具包
AATMF | 开源对抗性 AI 威胁建模框架
OWASP LLM 安全验证标准
Promptfoo 的 GitHub Action,用于测试提示、代理与 RAG,支持 AI 红队、渗透测试与 LLM 漏洞扫描,可对比 GPT、Claude、Gemini、Llama 等模型表现,配置简单并集成命令行与 CI/CD。
面向 Claude Code 的 Lasso 安全集成,包含提示注入防御
论文《A Survey on the Unique Security of Autonomous and Collaborative LLM Agents: Threats, Defenses, and Futures》的官方 GitHub 页面。
企业级 LLM 安全测试框架,实现 OWASP LLM Top 10,包含高级提示注入、越狱技术和自动化漏洞发现,服务于 AI 安全研究。
[COLM 2024] JailBreakV-28K:一个综合基准,用于评估 LLM 越狱攻击向 MLLM 的可迁移性,并进一步评估 MLLM 面对多种越狱攻击的鲁棒性与安全性。
检测提示注入、越狱及其他潜在风险的 LLM 输入。
一套轻量级脚本和工具集,用于自动化 Gophish 活动、简化钓鱼评估并加速 MCP 安全工作流。
面向基于 MCP 的 AI 工具的全面安全清单,由 SlowMist 构建,用于保护 LLM 插件生态。
Who Let the Agents Act? 是一个交互式智能体安全实验环境,探索 AI 智能体如何使用工具、访问数据和做出决策。通过对比存在漏洞、仅靠提示词和加固后的智能体,说明为什么提示词不是安全边界,以及授权、最小权限、数据投影、输出控制等如何保障智能体安全。
50+ 个用于 AI 驱动渗透测试的 MCP 安全服务器 | 集成 Nmap、Burp Suite、Nuclei、Shodan、BloodHound、Semgrep、Trivy | 面向网络安全的 Model Context Protocol
Agent3σ-Canary 是一个在真实运行时环境中评估 AI Agent 安全的框架。
精选的 260 多篇 Agentic 安全论文与资源列表,基于一份综述,涵盖从被动 LLM 到自主 Agent 的转变,围绕三大支柱组织:应用(红队/蓝队)、威胁(注入、投毒)和防御(护栏、验证)。
轻量级 AI 红队测试框架,用于授权的智能体/GenAI 挑战(BCTF Agent Plus 风格):调度、有界侦察、验证、摘要。
免费、开源、可自托管。由 Laboratório Hacker 为重视 AI 安全的团队打造,几分钟即可部署。
提示注入即角色混淆
Pydantic AI 的护栏能力——成本跟踪、提示注入检测、PII 过滤、密钥脱敏、工具权限和异步护栏,基于 pydantic-ai 的原生 capabilities API 构建。
面向 LLM 应用的轻量级提示注入检测。
基于 OWASP GenAI Security Project 已发布研究(LLM Top 10、Agentic Top 10、数据安全风险及相关资源)构建的 AI agent/技能
Ethicore Engine® 是一个 AI 安全、伦理与合规平台。本仓库包含 Ethicore Engine™ 的开源组件 Guardian SDK,通过多层分析流水线保护 AI 应用免受提示注入、越狱、角色劫持、系统提示提取及 100 多种其他威胁类别的侵害
运行在你的 Claude 订阅上的智能体。多智能体,默认沙箱隔离。精致的 Telegram 界面。
对本地编码智能体面临的仓库来源提示注入攻击及轻量防御进行基准测试。DL4C @ ICML 2026。
LLM 安全平台
带实时安全评分和云技能的 Model Context Protocol (MCP) 服务器精选列表。
AI 安全基准列表
混合知识图谱 + RAG 的安全情报平台,用于 CVE 分析和语义搜索,集成 Llama3。
ClawdSecbot is a professional AI Bot security protection solution, providing security capabilities including real-time threat detection, prompt injection protection, and security auditing to comprehensively protect your AI applications. ClawdSecbot 是一款专业的 AI Bot 安全防护解决方案,提供实时威胁检测、提示词注入防护、安全审计等安全能力,全方位保护您的 AI 应用安全。
面向 Agentic AI 的 MCP 安全方案 —— 实时代理、行为分析和恶意工具检测
真实用户指令:针对间接提示注入的黑盒指令认证中间件。
AI 智能体沙箱监狱运行时,提供本地优先的桌面应用和 CLI。可与任意模型(Claude、OpenAI、Groq、Ollama、LM Studio)对话;每个动作都经过意图 → 提案 → 提交的流程,由签名的能力授权令、按风险分级的审批和可重放的哈希链账本管控。可在 Mind 图谱中观察其思考过程。认知层提出建议,运行时层负责治理。
土耳其语 AI 安全资源——提示注入、越狱、红队测试、护栏、代理/MCP 与 RAG 安全。每条资源旁附土耳其语说明解释收录原因;失效链接由 CI 扫描。· 土耳其语 AI/LLM 安全资源列表
土耳其语 AI 安全的开源框架:指南系列、实战学院、研究与实验、23+ 工具和 20 个 Hugging Face 数据集 + 模型。
面向多模态提示注入的图像缩放攻击
面向 Kubernetes 的 Agent Reference Stack(kars)—— 微软开源的一套技术栈,用于在 Kubernetes 上安全运行 AI agent。多运行时、感知 Foundry、按 agent 加固的沙箱、受管控的出站流量、端到端加密的 agent 间网格。
评估 LLM 在非英语语言下的安全性与性能。
Prompt Police 团队在 MCI 的 LLM 安全黑客松(Quera,2025 年 11 月)中的比赛日记:通过跨语言、音译和框架攻击越狱 14 个禁止领域的安全防护模型。
超快、低延迟的 LLM 提示注入/越狱检测
论文《Safety Layers in Aligned Large Language Models: The Key to LLM Security》(ICLR 2025)的代码空间
AI 代理安全工具的开源基准——提示注入、数据外泄、工具滥用、来源追踪
基于 Cloud Hypervisor 和 Python 的 MicroVM AI agent 沙箱系统,支持 Linux 和 Windows 客户机操作系统,通过 MicroVM 提供硬件级隔离,同时保持轻量资源占用
手动提示注入 / 红队测试工具
AIRTBench 的代码仓库:衡量语言模型自主 AI 红队能力
为道德黑客和 AI 红队解锁安全、高信号的提示工作流
一个提示注入游戏,用于收集数据以开展稳健的机器学习研究
面向集成 LLM 应用的自动化提示注入测试框架,采用双 LLM 架构。
🛡️ A curated list of tools, papers, frameworks, and best practices for hardening agentic AI systems — covering prompt injection defense, runtime sandboxing, protocol security, red teaming, and governance standards.
面向 AI 智能体的安全密钥管理模式——存储、会话密钥、泄露防护、提示词注入防御。
精选的、安全优先的 OpenClaw 技能(基于 Markdown),安全审计技能可检测提示注入、供应链攻击和凭据泄露,适用于 Codex CLI、Claude Code 及任意 LLM
Independent AI agent security. For supported actions on configured routes, risky actions get a safe alternative or your approval before they run, so the task still gets done. Works with Cursor, Claude Code, Codex, Gemini CLI, Hermes CLI, and MCP tools.
Better agentic security inside a sandbox; one wrapper, any agent.
面向 Go 应用的 LLM 提示注入检测
Agentic 沙箱枚举:发现安全问题,并为逃逸自动化提供种子。
机器学习安全硕博课程(卡利亚里大学)
论文《Architecture Matters for Multi-Agent Security》(ICML '26)的仓库
面向 LLM Agent 的系统级安全:对工具调用实施细粒度策略,以防御间接提示注入。
基于 podman 的 agent 沙箱
🛡 Official AI Security Tool module for CVE-2026-50416 (Win32k desktop heap kernel address information disclosure) with safe in-app validation, KASLR impact assessment, and defensive Windows exploitability analysis for security teams.
25 个经生产验证的 Claude Code 防御性安全技能——WordPress、VPS、Cloudflare、Next.js 加固、AI 代理护栏、MCP 安全、提示注入防御、OWASP LLM Top 10、LLM 编码失败模式(slopsquatting、幻觉 API、谄媚)、事件响应、GDPR/DACH 合规。MIT,久经实战。
聚焦 LLM 安全的开源项目精选列表
用于开发和测试针对大语言模型攻击的研究工作台,重点关注提示注入漏洞与防御。
开源 AI 安全实验室:英俄双语学院、公开的 Rust 防御、研究与本地输入评估。通过 Spectorn 体验实时防护
该仓库包含供 AI 辅助开发工具使用的安全规则文件。
论文官方实现:DrAttack:提示分解与重构打造强大的 LLM 越狱器
800+ 个 MCP 服务器的安全评分。9 个分析器扫描提示注入、有毒数据流和攻击面风险,每日更新。
面向独立创始人的上线前检查清单。包含 4,573 个条目,87% 可移植到任意技术栈,另有 26 份技术栈补充——以及 AI/智能体安全和 AI 编程助手实际写出的 bug。
Project Mantis:反向攻击 AI 黑客;将提示注入作为抵御 LLM 驱动网络攻击的防御手段
面向 Claude Code 的攻击性安全技能集合,涵盖完整 PTES 方法论,涉及 AWS/IAM、pfSense、Active Directory、Web 攻击、Palo Alto PAN-OS、AI 代理审计与 LLM 安全测试。
🛡️ 面向 MCP (Model Context Protocol) 服务器的安全扫描器——提示注入、凭据暴露、SSRF、工具投毒及源码级凭据处理缺陷。pip install mcp-safeguard
AISecLists——你的 AI 红队武器库。发现精选的提示词列表集合,用于各类 AI 安全评估,包括 LLM 越狱、提示注入、信息泄露等
CVE-2026-41096(Windows DNSAPI.dll 堆溢出 / DNS-Mayhem 深度分析与审计模块)的官方 AI 安全工具模块。
SkillJect:面向编码智能体的自动化隐蔽技能型提示词注入,采用轨迹驱动的闭环优化。
面向 AI 编码智能体的安全工作约定:加固的 AGENTS.md、提示词/工具注入防护、依赖卫生、符合 Scorecard 要求的开源配置。
我在本科和研究生期间收集并阅读的论文
面向 OpenAI 模型的间接提示注入攻击简短清单。
研究论文《SecAlign: Defending Against Prompt Injection with Preference Optimization》的仓库
用于隔离网络渗透测试的离线 AI 安全助手
一份经过整理、映射到框架的 LLM 与 GenAI 系统攻击技术目录,交叉引用 OWASP LLM Top 10、MITRE ATLAS、OWASP ASI 和 MCP 安全。
Rational engineering system prompt for Codex and LLMs — focused on accuracy, software engineering, AI, security research, bug bounty, and reverse engineering. | 面向 Codex 与 LLM 的理性工程系统提示词:强调准确性、软件工程、AI、网络安全、漏洞研究与逆向工程。
面向 AI 编程智能体的安全,覆盖它们编写的代码和采取的操作。包含 MCP server、skills 和运行时防护。
可扩展的 Go 微内核,用于 LLM 护栏、配额执行和策略插件。
AgentFence 是一个开源平台,用于自动测试 AI Agent 安全,可识别提示注入、密钥泄露和系统指令暴露等漏洞。
A standardized agent vulnerability benchmark, formal taint tracking proofs, and a cross-language unified AST model, integrating code auditing with sandbox reproduction into an all-in-one agent security approach. 一个标准化的 Agent 漏洞基准、形式化的污点追踪证明与跨语言的统一 AST 模型,集成代码审计到沙箱复现一体化的智能体安全范式。
MCP Guard 保护你的 MCP 客户端免受提示注入攻击等威胁。
AI 安全工具,用于对 Android 应用进行反混淆并发现潜在漏洞。
OpenCode 的提示注入检测插件。适用于任何 LLM 提供商。在工具调用输出到达智能体之前,用评判模型进行扫描。是 OpenAI Guardrails 的替代方案。
面向 Java LLM 应用的可编程防护栏,与框架无关的工具包,支持输入/输出校验、PII 脱敏和越狱检测,是 NVIDIA NeMo Guardrails 的 Java 替代方案
TriLane:自主 AI 渗透测试器和多 agent 安全审计器,用于对 Web 应用和 API 进行经授权的灰盒测试,使用 Rust 和 Tauri 构建。
AI 代理安全实践资源:在部署到云端的 LangChain IT 服务台代理上演示 OWASP GenAI 的攻击、修复与验证。
开源 AI 安全防火墙,内置 81 个引擎,支持 PII 检测、提示注入防御、MCP 安全与出站分类,本地优先、零云依赖。
引导式越狱基准的官方仓库。
高级 AI/LLM 安全测试框架。包含 50 多种越狱技术、提示注入工具,以及面向 GPT-4、Claude、Gemini 等的自动化漏洞扫描器。
Fastino 的 LLM 护栏。
面向 AI Agent 的快速、多云沙箱引擎
AI 安全共担责任模型
攻击性 MCP 服务器审计器:在 stdio、HTTP 和 SSE 传输中检测工具投毒、凭据泄露、RCE 向量、SSRF、会话劫持和供应链漏洞。
专业的 AI 安全靶场,用于红队、漏洞研究、防御验证和 AI/ML 安全实操培训。
Bag of Tricks:LLM 越狱攻击基准测试。LLM 越狱的实证技巧。(NeurIPS 2024)
统一的 AI 治理控制目录,交叉映射 NIST AI RMF 1.1、EU AI Act、OWASP LLM Top 10 和 ISO/IEC 42001,附带 OPA 策略、模板和合规差距检查 CLI。
通过向量数据库嵌入在 RAG 系统中实施隐蔽的提示注入与投毒。
用于理解和测试 LLM 安全漏洞的动手学习平台。
JailBreak-Ai is an advanced AI red-teaming app for Android. It generates high-fidelity payload prompts to test AI safety filters, model robustness, and logical boundary security for Jailbreaking capabillities.
A+ 级 AI 代理安全框架——针对提示注入、命令注入和 Unicode 绕过攻击的军用级防护
面向 LLM 护栏的对齐研究脚手架(autoresearch 风格):在单一 policy.md 表面上进行搜索
专注于 大语言模型(LLM)提示词攻防(Prompt Attack & Defense)与提示词越狱(Prompt Jailbreak)研究的开源项目。
LLM 防护栏 Python SDK,提供安全分类、PII 检测、提示注入防御和依据性检查,无需外部 API 即可在本地保护 AI 应用,支持流式输出,可即插即用地集成到任意 LLM
面向 MCP 服务器的安全扫描器。对认证、权限、注入风险和工具安全性进行评级。agent 安全领域的灯塔。
保护大语言模型(LLM)的综合参考,涵盖 OWASP GenAI Top-10 风险、提示注入、对抗性攻击、真实事件和实用防御,并收录红队工具、防护栏和缓解策略目录,帮助开发者、研究人员和安全团队负责任地部署 AI
Arc Gate —— 带提示注入检测的 LLM 代理。Bendex Geometry。
面向 AI/LLM 智能体的代码执行沙箱方案精选列表
NOVA——针对提示注入攻击的 Claude Code 防护系统
CC-BOS:文言文 + 仿生优化搜索用于 LLM 越狱(arXiv:2602.22983)。
该资源主要总结和积累大模型(LLM)及ChatGPT相关的安全学术论文或技术博客,希望对自己和大家有所帮助
关于 LLM Agent 安全、攻击、漏洞以及如何将其用于网络安全的全部内容。
🔥🔒 Awesome MCP (Model Context Protocol) 安全 🖥️
让 LLM 发现真实可利用漏洞的提示框架。六个专用 agent 分别覆盖侦察、搜寻、对抗性串联、漏洞利用验证、分诊和 AI 安全。
论文 Attn-Defense:面向间接提示注入的注意力引导检测、定位与移除的代码和数据。
一款对 CI 友好的开源 CLI,在 MCP 服务器接入 AI 智能体之前对其进行静态审计。它无需调用任何工具,即可标记工具投毒、隐藏的 Unicode 载荷、误导性注解和宽松的模式,并按严重程度报告发现,用于流水线门禁。
面向递归自我改进治理的领域无关 AI 红队框架。
EvoSynth 是 SOTA 自动化 LLM 红队测试框架,通过多智能体合成、进化搜索和自我纠错来演化可执行的代码级越狱攻击方法。
综合性 AI 安全中心,汇集载荷、速查表、动手实验、安全工具、MCP 安全、RAG 安全、智能体安全、CTF 挑战和研究资源
间接提示注入方法论(IPIM)——安全专业人员可用于发现 LLM 中间接提示注入漏洞并产出 POC 的结构化流程。
对 LLM 实施嵌入攻击的代码。
由 Jev 提供支持、带土耳其语交互演示的上下文 OWASP LLM 防护栏
面向 AI agent 的高级提示注入防御系统。多语言检测、严重性评分和安全审计。
由 OWASP GenAI Security Project 提出的 Agent Name Service(ANS)协议,是一个用于促进 AI agent 之间安全发现与交互的基础框架。
ICML 2024《FedREDefense:利用模型更新重建误差防御联邦学习中的模型投毒攻击》的官方代码
面向 LLM API 的开源安全网关,提供提示注入检测、PII 脱敏、危险响应过滤与审计日志,兼容 OpenAI/Claude,可作为 Cursor、Claude Code 等 AI 编码代理的即插即用代理。
面向 Python 的 LLM 防护栏与提示注入检测。自动接入 LangChain、CrewAI、OpenAI、LiteLLM 等 8 个以上框架,支持 PII 掩码、毒性检测和策略 CI/CD,一行接入、无需改代码。
Lakera Gandalf AI 挑战的逐步通关解析,展示真实世界的提示注入技术和 LLM 安全洞见。
真实案例展示配置文件和邮件中的隐藏指令如何诱使 AI 产生意外输出,揭示间接提示注入的隐蔽风险。
与 Cisco 联合构建:智能体安全的未来(在内核层面强制执行)
位于 AI 编码助手与 MCP 服务器之间的 MCP 安全代理,检测并阻断所有已知的 MCP 攻击类型。适用于 macOS、Linux 和 Windows 上的任意 MCP 服务器(工具、资源、提示)。
NDSS'26 论文《Chasing Shadows: Pitfalls in LLM Security Research》的配套材料。
引擎就一条回路:侦察 → 规划 → 提交 → 判定 → 变异。纯标准库,零框架依赖。内置裁判打 S/A/B/C,canary 或正则命中才算赢,没坐实的不提交。334 个测试离线全绿。CLI、Python API、MCP。One loop: recon → plan → submit → judge → mutate. Pure stdlib, no framework. The judge grades S/A/B/C — canary/regex hits are wins, unconfirmed never submit. 334 offline tests. CLI, Python API, MCP. Works good on HTB AI Red Teamer labs.
与 MCP(Model Context Protocol)、MCP 服务器等相关的安全威胁
预印本论文《Automatic and Universal Prompt Injection Attacks against Large Language Models》的官方实现。
由 UChicago 的 XLab 创建的在线 AI 安全课程。
LLM 攻击指南:基础知识、提示注入、攻击与防御。
LLM 安全与对齐相关研究论文、实验和资源的精选列表。
AI 安全漏洞、LLM 对抗攻击、提示注入技术和机器学习安全研究的综合分类体系。涵盖 71 种以上攻击向量,包括模型投毒、agentic AI 漏洞利用和隐私泄露。
为 AI Agent 提供最快的信任层。
AI 安全与隐私学术活动精选列表
MIT 6.566 课程中关于 AI Agent 安全的客座讲座。
一套全面的 GenAI 防护系统,用于防御恶意提示词、注入攻击和有害内容。系统串联多个引擎,在用户输入到达 GenAI 应用之前对其进行分析和分类。
动手实践的 MCP 安全实验:用存在漏洞与安全加固的 MCP 服务器复现 10 个真实事件,附带 pytest 回归测试,以及在 Claude/Cursor 上实战验证过的漏洞利用演练。
自托管的 Claude Code 智能体编排器:以角色门控的 SDLC(计划 → 构建 → 测试 → 发布)推进想法,支持每个智能体独立沙箱、运行过程实时流式输出,并以磁盘上的 markdown 作为唯一事实来源。单个 Go 二进制文件。
✨LLM 安全运营,保障 AI 系统全生命周期的安全。
PromptMe 是一个教学项目,展示大语言模型(LLM)及其 Web 集成中的安全漏洞,包含 10 个受 OWASP LLM Top 10 启发的动手挑战,演示这些漏洞在真实场景中如何被发现和利用
Ai与Web安全相关资料的总结库,包括认为写的比较好的一些博客、项目、数据等
用 MCP 插件构建的安全漏洞扫描器
该模式介绍如何实现一个 Model Context Protocol (MCP) 服务器,集成三款行业标准安全扫描工具(Checkov、Semgrep 和 Bandit),提供全面的代码安全分析。该服务器让 Kiro 和 Amazon Q Developer 等 AI 编码助手能自动扫描代码片段。
开源 AI Agent 安全框架,可对 AI Agent 进行评分、加固和治理,基于 DoD/DISA 零信任原则构建。
面向 AI 系统的全面防御性安全测试工具。PromptInjector 通过静态和自适应提示的系统化测试,帮助发现提示注入漏洞。
生产级 Playwright + TypeScript QA 框架,具备 AI 驱动测试、LLM-as-Judge 评估、MCP 服务器、7 个 CLI 代理、安全模糊测试、CI/CD 流水线、Jira 同步和 Slack 报告——零配置、即插即用。
零信任。零安全。完全暴露。一个故意存在漏洞的健康科技平台,配有 AI 聊天机器人,用于学习应用安全和道德黑客。它包含 OWASP Top 10 Web、API 和 AI/LLM 安全漏洞中的漏洞。漏洞极多,切勿用于生产环境。
MoRSE(Mixture of RAGs Security Experts),首个面向网络安全的专用 AI 聊天机器人,旨在提供全面完整的网络安全知识。
CVE-2026-20805(桌面窗口管理器 / dwm.exe 信息泄露与内存泄漏诊断)的官方 AI 安全工具模块。
PromptMe 是一个教育项目,展示大语言模型及其 Web 集成中的安全漏洞,包含 10 个受 OWASP LLM Top 10 启发的动手挑战,演示这些漏洞在真实场景中如何被发现和利用。
用于试验 MCP 安全性的仓库
AI 安全月报,汇总 AI 安全研究、洞察、报告、活动及工具资源。
映射到 OWASP LLM Top 10 2025 和 MITRE ATLAS 的 AI/LLM 安全测试库。按领域组织 191 个载荷,并集成 CI/CD,面向受监管行业。
CVE-2026-21858 + CVE-2025-68613(n8n“Ni8mare”未授权任意文件读取与表达式注入 RCE 完整利用链)的官方 AI 安全工具模块。
开源 AI 虚拟助手 agent 沙箱/运行器,自带原生 UI 客户端(OpenClaw/Chatbot 的替代方案)
面向 LLM 应用的提示注入防护栏,紧凑模型性能超过更大的开源防护模型,不依赖正则和特征签名,演示地址:anton.securelayer7.net
利用 HiddenLayer 的 Policy Puppetry 攻击实现的通用 LLM 越狱,已在 GPT-4、Claude、Gemini 和开源模型上测试。
为金融智能体形式化的 AI 护栏,用 Lean 4 数学证明取代概率性过滤器,确保只有可证明合规的动作才能执行。
用 Rust 编写的语义代码搜索与 RAG 系统,具备 tree-sitter 分块、用于 IDE 集成的 MCP 服务器、提示注入检测和密钥脱敏。
面向 AI 智能体的安全 CLI 代理——用 HCL 定义操作模板,密钥存于操作系统钥匙串,集成 MCP,并提供提示注入防护。
一个自主智能体流水线,使用单个 7B 开源 LLM(Qwen2.5-Coder)在 vLLM 上端到端地发现、验证并修补真实的 C 语言内存安全漏洞,并以 AddressSanitizer 作为真值判定器。
故意留有漏洞的 AI 安全训练靶场,面向 LLM agent,演示 OWASP LLM Top 10 2025:RAG 注入、工具滥用、记忆投毒、供应链攻击、数据外泄等
可自托管的持久自主编码智能体运行时:KVM 隔离虚拟机(或无根容器)、带签名 AgentCard 发现的 A2A 协议执行器、AIWG 任务派发、Web 仪表盘、virtiofs 共享存储。运行在你自己的硬件上,无需托管控制平面。
面向 LLM Agent 的透明 OpenAI 兼容安全网关——在出口处进行 DLP、密钥泄露、越狱和提示注入检测。是 Akav Labs 出品的 AgentSentry 的开源核心。
一套演示工具包,通过数据投毒、JSON 注入、函数覆盖和跨 MCP 调用攻击,揭示 MCP(Model Context Protocol)框架中潜在的安全漏洞,暴露 AI 安全问题并提供防御建议。仅供教育与研究用途。
一个故意留有漏洞的 AI 聊天机器人,用于学习和练习 AI 安全
面向 LLM 安全的自动化红队测试工具,评估系统提示词对提示注入、越狱和数据外泄攻击的抵御能力。
AI Red Teaming / AI Safety に関する日本語リソースのキュレーションリスト
RAG/LLM 安全扫描器,可识别 AI 应用(包括聊天机器人、虚拟助手和知识检索系统)中的关键漏洞。
零认证、安全加固的跨领域研究 MCP 服务器:网页、学术、GitHub、新闻、天气、宏观/金融、SEC、生物医学、Bluesky、YouTube。具备 SSRF 与提示注入防御。
面向 Python 的开源 LLM 安全库。三行代码即可保护你的 AI 应用免受提示注入、数据泄露和有害输出影响。
这个仓库收录了常见 Agent 框架中不安全代码和/或安全配置错误的示例
[ICML'25] MELON:针对 AI 智能体中间接提示词注入攻击的可证明防御。
SCAM——安全意识度量 | 开源基准,在贴近真实的多轮工作任务中测试 AI 代理的安全意识。
此仓库演示了 MCP(Model Context Protocol)服务器中的一处安全漏洞,可通过工具投毒实现远程代码执行与数据外泄。
AI 红队大全仓库,提供对 AI 系统进行红队测试的技术,重点关注安全性和偏见。
针对联邦推荐的模型投毒攻击
NeuralForge 是端到端的 LLM 微调与服务平台。它利用 LoRA(PyTorch/Hugging Face)进行领域适配,相比基础模型降低错误率。具备自动化 MLflow 评估框架,在 AI 护栏下跟踪准确率、延迟和幻觉情况,并通过 CI/CD 部署在 vLLM、Docker 和 Kubernetes 上以实现高吞吐。
面向 AI agent 的动手式攻防安全实验:MCP 工具投毒、跨服务器影子攻击、RAG 注入、agentic 记忆攻击,以及可运行的五阶段 MCP→A2A 杀伤链。可在本地复现,无需云 API。
找出那些躲过人类却对机器说话的文字。用于扫描不可信内容中间接提示注入的防御性工具。
面向 LLM CLI(Claude Code、Codex、Gemini、Droid、Opencode 等)配置和 MD 文件的安全扫描器 —— 检测提示注入、凭据泄露和恶意模式
在提供 HTTP 数据的进程与 open-appsec Agent 安全逻辑之间建立连接的附件。
零代码 LLM 安全与可观测性代理。为 OpenAI 兼容 API 提供实时提示注入检测、PII 扫描和成本控制,使用 Rust 构建。
论文《Can Indirect Prompt Injection Attacks Be Detected and Removed?》的官方实现。
Prompt Hardener 分析基于 LLM 的代理和应用中源自提示注入的风险。
OWASP GenAI LLM Top 10 2026——非官方土耳其语翻译(CC BY-SA 4.0)
欺骗式 LLM 防护栏,对感知到的对抗性查询进行欺骗而非拒绝。
面向 Web 智能体的提示注入检测基准测试
用于评估和改进 LLM 安全机制的红队提示综合数据集
通过一系列存在漏洞的 LLM CTF 挑战学习 LLM/AI 安全,无需注册、全部免费,一切都在网站上
面向黑客的提示工程:LLM、越狱与对抗性提示入门实践
智能体身份与智能体安全系统。
LivePI:更贴近真实场景的智能体间接提示注入基准测试
[COLM 2025] JailDAM:面向视觉语言模型、带自适应记忆的越狱检测。
🔒 一条命令完成 OpenClaw 安全部署,内置技能扫描器和提示词注入防护。
FORGEDAN——LLM 安全评估的进化框架 | 6 种攻击方法 | 18 个模型适配器 | Vue 3 仪表盘 | Web 安全扫描
2021 机器学习安全逃逸竞赛。
AgentShield 是一款 AI 安全中间件,在工具响应到达 AI 之前对其进行分析、净化和评分,保护 LLM 代理免受 MCP 工具投毒和提示注入攻击。
面向 LLM 和 GenAI agent 的威胁建模与安全测试资源汇编
把AI安全从"艺术"变成"科学" - 全面的LLM安全工具包
NeurIPS 2022 中与对抗攻击与防御/AI 安全相关的论文列表。
一个强大的 MCP(Model Context Protocol)服务器,用于审计 npm 包依赖的安全漏洞。集成远程 npm registry,可实时进行安全检查。
可信生成式 AI 论文精选列表。每日更新……
《FL-WBC:从客户端视角增强联邦学习对模型投毒攻击的鲁棒性》的官方实现。
本仓库将更新 Defcon 2026 对抗村 AI 红队实验室材料
比较 LLM 智能体在系统提示词泄露与攻击探测方面安全性的排行榜。
易用的 LLM 提示注入检测与提示输入净化 Python 包,支持本地模型、基于 API 的防护、工具调用防护和 LangChain 防护栏
AI/LLM 安全扫描器 —— 模型产物分析、提示注入防火墙、MCP agent 校验、pickle/safetensors/GGUF 模糊测试。零误报。
Helixar 出品的 MCP 安全扫描器
Echo Chamber LLM 越狱的代码与示例。
基于 Llama Guard 的 LLM 安全项目
闭环安全运行时,防止自主 AI Agent 中的“The Great Exfiltration”和间接提示注入。
用于利用常见 Web 应用漏洞的函数,如 SQL 注入、跨站脚本(XSS)、服务端请求伪造(SSRF)和路径遍历。
迄今为止最全面、最准确的 LLM 越狱攻击基准。
论文《Analyzing Federated Learning through an Adversarial Lens》的配套代码。
Dropbox 的 LLM 安全研究代码与结果
Model Context Protocol Security 倡议的官方网站与文档中心。提供安全指南、最佳实践、工具和社区资源,帮助安全部署 MCP 服务器与 AI 智能体。Cloud Security Alliance 社区项目。
精选的 AI 红队测试资源与工具列表。
GUARDRAIL——MCP 安全网关,提供统一访问、资源委派和降低风险的信息限制。
在隔离的本地沙箱中全速运行 AI agent(Claude Code、Codex、OpenClaw 等),零成本、对宿主机零风险
一个多智能体安全框架,利用多个 LLM 模型分析并生成全面的安全简报。
开源 agent 沙箱
在 LLM 读取之前检测间接提示注入攻击
CEREBRO-RED v2:采用 PAIR 算法和 LLM-as-a-Judge 评估的高级 LLM 红队研究平台。
RAG 投毒实验——教学用 AI 安全练习。
普渡大学机器学习与安全研讨会
NDSS 2021 论文《Manipulating the Byzantine: Optimizing Model Poisoning Attacks and Defenses Against Federated Learning》的代码。
论文《Defending against LLM Jailbreaking via Backtranslation》的代码
用于防御 Agentic AI 威胁的可运行代码示例:提示注入检测、Claude Code hooks、OPA 策略和沙箱配置。可直接复制使用,MIT 许可。
开源提示词防火墙——在流量离开你的基础设施之前拦截多达 95% 的冗余 LLM 请求。文档:https://isartor-ai.github.io/Isartor/index.html
面向 MCP 开发的专用框架,包含 8 个 Claude Code 子代理、安全钩子与生产可用的 FastMCP 服务器模板,通过 markdown 驱动的代理提供即时开发辅助。
Vault-0:面向 OpenClaw 的代理安全、监控与 x402 钱包。加密密钥保险库、实时代理监控、策略执行和原生 x402 支付——使用 Rust + Tauri 构建。
AI 红队运营控制台
研究 MCP、OAuth 与安全
Pydantic AI 的防护栏
seraph AI 防护栏「不打一场,你无法真正了解一个人」
MCP 正被快速采用,安全指引却相对滞后。这份清单为安全工程师、平台团队和技术负责人提供清晰可执行的基线,用于保障 MCP 部署安全,无论你是在交付内部工具还是面向客户的 AI agent。
《有缺陷的机器学习安全》的实践示例,以及贯穿机器学习模型生命周期端到端阶段(从训练、打包到部署)的 ML 安全最佳实践。
通用 LLM 安全审计工具,支持自动化越狱测试、DSPy 优化以及对齐 OWASP 2025 的攻击模式。
MCP Server Security Standard(MSSS):一套开放、可测试的安全控制标准,用于认证 MCP 服务器,包含分级、证据要求和报告模式。
面向代码的 LLM 安全防护
Claude Code prompt injection defense via source authentication tokens. UserPromptSubmit hookでユーザー入力にのみ認証トークンを付与し、ファイル/Web/MCP経由の間接入力を信頼しない軽量実装。
通过 CTFd 为黑客 CTF 提供 LLM 提示攻击
基于 ModernBERT 的轻量级自托管 AI 护栏模型。
用 Rust 编写的高性能字符串格式化器。该项目可检测并阻止 LLM 提示注入和越狱攻击,还提供可定制的基于规则的系统,并能防御混淆式提示攻击。
Mr. Injector 是一个 GitHub 仓库,用于提供大语言模型(LLM)安全漏洞的实践体验
这是首个 openclaw 提示注入防御系统
DuoGuard:一个双玩家强化学习驱动的多语言 LLM 护栏框架。
一个用于大语言模型(LLM)越狱防御的轻量级库。
AI 红队与蓝队技巧合集!
SecureMCP 是一款安全审计工具,用于检测使用 Model Context Protocol (MCP) 的应用中的漏洞和错误配置。它主动识别 OAuth 令牌泄露、提示注入漏洞、恶意 MCP 服务器和工具投毒攻击等威胁。
为 AI agent 能力定制的 OpenClaw 技能——记忆系统、提示注入防御、意图路由和平台集成
首个完全用 Rust 编写的本地托管开源 LLM 安全代理
一个用于理解 AI 安全 Agent 的有趣 POC。
把一条产品评论变成了无声的刺客——Carlos 完全没料到。
针对 OWASP 2024 大型语言模型十大漏洞的防护方案。
Python 漏洞扫描器与 MCP 安全工具包,通过 OSV/NVD/GitHub Advisory DB 实时检查依赖,支持 Docker 分析、密钥检测、MCP 配置校验、LLM 风险评估与交互式安全审计。
《机器学习安全原则》,由 Packt 出版
KDD22 论文《FLDetecotor:通过检测恶意客户端防御联邦学习中的模型投毒攻击》的官方代码
LLM 安全与隐私
一个多层多级机器学习安全解决方案,支持常开检测系统,使用 Django REST framework,并配有通过 REST API 调用的浏览器扩展。
一款轻量工具,扫描集成 LLM 的代码库以查找 OWASP LLM Top 10 漏洞——提示注入模式、不安全的输出处理等。
多提供商 LLM 越狱研究框架。
LLM 红队与生成式 AI 相关的全部内容
AI Agent 安全相关论文
《FL-WBC:从客户端视角增强联邦学习对模型投毒攻击的鲁棒性》的官方实现。
面向对抗性 LLM 安全研究的开源 ATT&CK 风格框架与测试套件
提出基于区块链的框架 TrustFed,用于跨设备联邦学习系统检测模型投毒攻击、实现公平训练设置并维护参与设备的信誉。TrustFed 通过检测并移除攻击者来保证公平性,利用区块链智能合约维护参与设备的信誉,促使参与者积极、诚实地贡献模型。实现上使用了 Python 模拟的联邦学习框架、区块链智能合约和统计离群点检测技术。
利用分类法和敏感词检测法对生成式大模型的输入和输出内容进行安全检测,尽早识别风险内容。The input and output contents of generative large model are checked by classification method and sensitive word detection method to identify content risk as early as possible.
实现客户端信誉、梯度检查与同态加密机制,用于防御联邦学习系统遭受的数据/模型投毒和逆向工程攻击。
PsychoEvals 的仓库——一个用于 LLM 安全、心理分析和内容审核的框架。
全面精选的 LLM 安全初创公司列表。
使用 TrueDepth 进行 3D 模型扫描并无线 3D 打印。
LLM 提示注入检测 API 服务概念验证
面向以实验为中心的 AI 红队工作流的实用工具
大型语言模型能解决安全挑战吗?我们利用 OverTheWire wargames 环境测试 LLM 与 shell 环境交互并从中逃逸的能力,展示了模型在 shell 环境中执行面向行动的网络攻击的惊人能力。