Uber 开源 AI Agent 检测与响应系统 ADR
Uber 开源了其 AI Agent 检测与响应系统 ADR（Agentic AI Detection and Response），覆盖员工使用的编码 Agent 和面向客户的 Agent，通过可观测性、安全基准测试和威胁检测提供防护。该系统源自 Uber 内部的生产部署，是少数带有生产落地记录的同类工具之一。
看开源
AI 安全相关的开源项目、工具与仓库动态，按内容类型筛选，支持搜索。
分类筛选展开收起
共 56 条 · 更新于 08:39
开源安全推荐指数6767 开源安全推荐指数6262 Bishop Fox 开源 AIMap：互联网规模发现暴露的 AI 基础设施
Bishop Fox 开源 AIMap，用于在互联网规模上发现并指纹识别公开可达的 AI 基础设施，覆盖 MCP servers、Ollama 实例、vLLM 与 LiteLLM 代理、LangServe chains 和 Gradio 应用，并对发现的目标进行安全测试。项目定位是帮助组织在被他人发现之前摸清自身暴露面，最近更新于 April 2026。
开源安全推荐指数4848 AI Prompt Fuzzer：Burp Suite 扩展将 LLM 提示词暴力测试集成到 Web 渗透测试流程
AI Prompt Fuzzer 是一款 Burp Suite 扩展，可直接从 Intruder 模块对 AI 提示词进行暴力破解测试，将大语言模型（LLM）安全测试融入 Web 应用渗透测试工作流。该工具面向安全测试人员，简化了在常规 Web 渗透流程中对 AI 应用进行提示词层面安全评估的操作。
开源安全推荐指数6262 AgentPoison：NeurIPS 2024 论文官方实现，通过记忆库对 LLM Agent 投毒
AgentPoison 是 NeurIPS 2024 论文的官方实现，展示了如何通过 LLM Agent 的记忆或知识库植入后门，使检索上下文中出现特定触发词时 Agent 被劫持，而普通查询表现正常。该方法适用于评估检索语料不完全受控的 RAG 管道的人员参考。
开源安全推荐指数4141 AI Red Teaming Playground Labs：Black Hat USA 2024 红队课程实验挑战集
AI Red Teaming Playground Labs 开源了 AI Red Teaming in Practice 课程所用的实验挑战集，该课程最初在 Black Hat USA 2024 授课。仓库收录课程配套的红队演练 lab 挑战题目，供学习者练习大语言模型红队攻击技术。
开源安全推荐指数4444 Agentic Radar：扫描 agentic workflow 并报告安全态势
Agentic Radar 扫描 agentic workflow 并报告其安全态势，包括每个 agent 可触达的工具以及不可信输入进入系统的位置，同时生成可视化地图与发现结果。该工具最近更新于 2025 年 11 月。
开源安全推荐指数6262 Trail of Bits 开源 Anamorpher 图像缩放攻击工具
Trail of Bits 开源 Anamorpher（Apache-2.0），实现面向多模态提示词注入的图像缩放攻击：图片在完整尺寸下看似无害，经管线降采样后才解析出指令，使人工审核者与模型看到不同内容。该项目是 Trail of Bits 相关文章的配套工具。
开源安全推荐指数4141 Bosch AIShield Watchtower：面向模型文件与 Jupyter Notebook 的开源扫描器
Bosch AIShield 推出 Watchtower 扫描器，针对模型文件与 Jupyter Notebook 检查不安全的序列化，以及 Notebook 中的密钥和高风险代码，其立论是 Notebook 属于 AI 供应链却很少被纳入安全审查。该项目最近更新于 2026 年 3 月，来源为开源安全。
开源安全推荐指数5656 Orca Research 开源 AIGoat：面向学习的故意脆弱 AI 基础设施靶场
Orca 研究团队开源 AIGoat，这是一套刻意留有漏洞的 AI 基础设施，专为红队学习与练习而构建，相当于传统故意不安全 Web 应用的 AI 版本，允许使用者在合规前提下进行攻击实践。项目最近一次更新为 2025 年 9 月。
开源安全推荐指数7272 ETH Zurich SPY Lab 开源 AgentDojo：评测 LLM Agent 提示词注入攻防的动态环境
ETH Zurich 的 SPY Lab 与 Invariant Labs 开源 AgentDojo，一个用于评测针对 LLM Agent 的提示词注入攻击与防御的动态环境。它同时提供用户任务与注入任务，使攻击和防御能在同一基准上被测量，并配有 NeurIPS 2024 datasets and benchmarks track 的论文。
开源安全推荐指数6262 Dreadnode 发布 AIRTBench：测量大模型自主完成 AI 红队任务能力的基准
Dreadnode 发布 AIRTBench 基准，用于测量大语言模型自主完成 AI 红队操作的程度，采用 CTF 风格挑战。该基准随论文一同发布，并附有智能体自身转录记录的公开数据集，使失败案例可被直接阅读而不只是被评分。仓库最后更新于 April 2026。
开源安全推荐指数4343 Arcjet：在应用代码内调用的安全原语
Arcjet 提供在应用代码内调用的安全原语，使安全决策先于动作执行，而非在网络边缘进行。其覆盖提示词注入检测、Agent 工具调用授权、敏感数据脱敏以及机器人与滥用处理，支持 JavaScript 和 TypeScript。
开源安全推荐指数4141 Adversarial Robustness Toolbox (ART)：Linux Foundation AI and Data Foundation 托管的机器学习安全 Python 库
Adversarial Robustness Toolbox (ART) 是由 Linux Foundation AI and Data Foundation 托管的机器学习安全 Python 库，采用 MIT 许可证，主分支最后一次提交为 13 November 2025。
开源安全推荐指数6868 微软开源 Agent Governance Toolkit，提供策略执行与沙箱等治理能力
微软开源 Agent Governance Toolkit，用于在策略约束下运行 AI Agent，包含策略执行、Agent 本身的零信任身份、执行沙箱与可靠性工程等能力，相关规范文档与代码一同公开。
开源安全推荐指数6060 Agent Wiz：从 LangGraph、AutoGen、CrewAI 智能体中提取工作流图并自动做威胁评估
Agent Wiz 是一个开源工具，能从基于 LangGraph、AutoGen 或 CrewAI 构建的智能体中提取工作流、绘制流程图，并在结果上自动运行威胁评估。原文指出，针对智能体系统的威胁建模目前大多仍是白板推演，这类直接读取真实工作流图的工具值得关注；该项目最后更新于 2025 年 11 月。
开源安全推荐指数6262 Agent Security Bench (ASB)：ICLR 2025 的 LLM Agent 攻防评测基准开源代码
Agent Security Bench (ASB) 是 ICLR 2025 一项基准的开源代码库，形式化了针对基于 LLM 的 Agent 的攻击与防御，并在从学业指导到投资与法律咨询的十个场景中运行。它覆盖提示词注入、记忆投毒和工具滥用三类攻击，并在同一标准下衡量防御效果。仓库最近更新于 April 2026。
开源安全推荐指数3939 AI-BOM：盘点基础设施中实际运行的 AI 模型、Agent 与 API
AI-BOM 为 AI 生成一份物料清单，列出基础设施中实际运行的 Agent、模型与 API，包括未被登记注册的部分。文章指出，清单盘点是多数 AI 安全项目跳过的一步，而未被发现的组件无法得到保护。该内容最后更新于 2026 年 5 月。
AI安全项目雷达 msoedov/agentic_security
Agentic LLM Vulnerability Scanner / AI red teaming kit 🧪
AI安全项目雷达 requie/AI-Red-Teaming-Guide
A comprehensive guide to adversarial testing and security evaluation of AI systems, helping organizations identify vulnerabilities before attackers exploit them.
AI安全项目雷达 Yeti-791/Awesome-Offensive-AI-Agentic-Landscape
This document curates open-source projects, academic papers, capability benchmarks, and commercial solutions (international & China) in AI penetration testing, LLM red teaming, autonomous offensive agents, and vulnerability discovery—aimed at helping researchers, security engineers, and enterprise decision-makers quickly form a holistic view.
AI安全项目雷达 AISecurityConsortium/AIGoat
AIGoat - Open-source AI security playground for hands-on LLM red teaming. Explore prompt injection, RAG poisoning, AI agents, MCP security, and OWASP Top 10 for LLM Applications through practical attack labs, CTF challenges, and progressive defenses all running locally.
AI安全项目雷达 Zwony/RedAgent
Enterprise-grade automated AI Agent Red Teaming & Security Auditing platform targeting OWASP Top 10 for LLMs.
AI安全项目雷达 emmanuelgjr/genai_incidents
Single source of truth for GenAI and agentic AI security incidents, mapped to OWASP LLM Top 10, OWASP Agentic Top 10 (ASI), NIST AI RMF, and MITRE ATLAS.
AI安全项目雷达 Tencent/AI-Infra-Guard
A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills Scan, MCP scan, AI Infra scan and LLM jailbreak evaluation.
GitHub日趋势 macro-inc/macro
AI安全项目雷达 guardana/guardana
Open-source AI security verification for model artifacts, live endpoints, MCP servers, and recorded agent traces. Reproducible evidence for release decisions.
AI安全项目雷达 PrismorSec/prismor
Self-hosted runtime control plane for AI agents. Observe or HITL approve or Block rogue tool calls before it executes: secret leaks, prompt injection, supply chain etc in a local dashboard. Agent agnostic (Claude, codex, langchain etc.)
AI安全项目雷达 Agent-Threat-Rule/agent-threat-rules
Open detection-rule standard for AI agent security threats — like Sigma, but for AI agents. Executable, testable rules for prompt injection, tool poisoning, context exfiltration and MCP attacks. Merged into open-source projects at Microsoft, Cisco, Gen Digital, MISP and FINOS. MIT-licensed.
AI安全项目雷达 NY1024/AgentSafety-Papers
Daily Tracking of LLM Agent Security Papers on arXiv
AI安全项目雷达 ivolake/awesome-ai-security-tg
Curated list of Telegram channels and chats on AI Security, AI/MLSecOps, LLM Security
AI安全项目雷达 UnboundCompute/security-agent-skills
Security-testing methodology as portable, tool-agnostic agent skills for Claude Code and any agent runtime: white-box bug hunting, AI-agent and LLM red-teaming, supply-chain risk, and appsec depth.
AI安全项目雷达 scadastrangelove/awesome-ai-security-tools
A curated list of public-source, research, and commercial tools for AI security and AI-assisted cybersecurity — autotriage, agent security, AI/ML supply chain, pentest agents, AI SAST, LLM-driven fuzzing, threat intelligence, SOC/SIEM triage, reverse engineering, LLM red-teaming, and more.
AI安全项目雷达 Arcanum-Sec/ai-sec-resources
AI Security Resources Hub
AI安全项目雷达 CryptoAILab/Awesome-LM-SSP
A reading list for large models safety, security, and privacy (including Awesome LLM Security, Safety, etc.).
AI安全项目雷达 pazo01/awesome-cyber-ai-arsenal
A curated collection of offensive, defensive and AI/LLM security tools.
AI安全项目雷达 ottosulin/awesome-ai-security
A collection of awesome resources related AI security
AI安全项目雷达 Alejandros17487/ai-jailbreaks
AI jailbreaks: 35 paste-ready AI jailbreak prompts for 25+ frontier and open-weight models - system prompts, AGENTS.md specs, and Ollama Modelfiles. Built for AI security research and red-team testing.
AI安全项目雷达 Masriyan/Claude-Code-CyberSecurity-Skill
22 production-quality Claude Code Skills for cybersecurity professionals , covering offensive security, defensive operations, reverse engineering, threat hunting, threat intelligence, purple team / adversary emulation, CSOC automation, AI/LLM security, mobile, OT/ICS, GRC, software supply chain security, and more.
AI安全项目雷达 Mr-Infect/AI-penetration-testing
AI/ML/LLM Penetration Testing Toolkit by Mr-Infect — the #1 GitHub resource for AI security, red teaming, and adversarial ML techniques. This repository is dedicated to offensive and defensive security for cutting-edge AI, Machine Learning (ML), and Large Language Models (LLMs) like ChatGPT, Claude, and LLaMA.
AI安全项目雷达 preambleai/prompt-injector
AI security and prompt injection payload toolkit