跳到正文

看开源

AI 安全相关的开源项目、工具与仓库动态,按内容类型筛选,支持搜索。

分类筛选展开
共 169 个项目 · 快照于 10/30 10:12
今天10月30日周五10 条
  1. GitHub

    Uber 开源 AI Agent 检测与响应系统 ADR

    Uber 开源了其 AI Agent 检测与响应系统 ADR(Agentic AI Detection and Response),覆盖员工使用的编码 Agent 和面向客户的 Agent,通过可观测性、安全基准测试和威胁检测提供防护。该系统源自 Uber 内部的生产部署,是少数带有生产落地记录的同类工具之一。

  2. GitHub

    Agent Wiz:从 LangGraph、AutoGen、CrewAI 智能体中提取工作流图并自动做威胁评估

    Agent Wiz 是一个开源工具,能从基于 LangGraph、AutoGen 或 CrewAI 构建的智能体中提取工作流、绘制流程图,并在结果上自动运行威胁评估。原文指出,针对智能体系统的威胁建模目前大多仍是白板推演,这类直接读取真实工作流图的工具值得关注;该项目最后更新于 2025 年 11 月。

10月29日周四34 条
  1. TypeScript · NOASSERTION新★ 549

    0sec-labs/0

    Open-source AI security harness. Includes a web UI for code analysis, pentesting, vulnerability research, reverse engineering, verification, and fixing + CLI and MCP for agents.

    #C03 AI红队测试
  2. TypeScript · MIT新★ 137

    zhinjs/zhin

    AI 原生的 TypeScript 机器人框架——一套代码适配 20 多个聊天平台(QQ、Discord、Telegram、Slack、微信等)。可选启用带 MCP、工具和安全策略的 AI agent。核心小于 10MB。

    #C03 AI红队测试
  3. Java · MIT新★ 25

    PIsberg/vibetags

    VibeTags 是一个 Java 注解处理器,为 Cursor、Claude、Gemini、Codex CLI 等代码生成工具充当 AI 护栏。开发者通过简单注解控制 AI 行为,保护关键代码并引导 AI 的实现。

    #C02 AI对抗防御
  4. Shell · MIT新★ 123

    khendzel/skills-janitor

    为你的 Claude Code 技能、子智能体和 MCP 服务器做「配对」:划掉浪费上下文的,扫描提示注入,获取真实的 token 开销。发现问题就修复并真正删除。零依赖,支持 Claude Code + Codex。

    #C03 AI红队测试
  5. Go · GPL-3.0新★ 80

    inoio/agents-sandbox

    面向 AI 编码智能体(Claude Code、opencode、pi)的沙箱:每个项目运行在隔离的 microVM 中,密钥在宿主机侧注入。支持 Linux/KVM 与 macOS。

    #C03 AI红队测试
  6. TypeScript · NOASSERTION新★ 144

    DFKHelper/token-goat

    为 Claude Code、Codex、Copilot、Gemini CLI 等减少 token 消耗并保持专注:精准读取提示、PDF/Office/CSV/markdown 文件拦截、205+ 条过滤与拦截规则、紧凑清单注入、图片压缩、缓存与压缩技能、缓存 MCP 调用、提示注入防护等。

    #C03 AI红队测试
  7. JavaScript · MIT新★ 131

    leepokai/jev-guard

    面向所有编码代理的自动模式,基于 Jev:结合会话上下文对每次工具调用进行风险评分(拒绝/询问/允许),标记结果中的提示注入,检查技能和插件。支持 Claude Code、Codex、Copilot、Gemini、Cursor、pi、OpenCode、ACP。

    #C03 AI红队测试
  8. TypeScript · MIT新★ 1,338

    affaan-m/agentshield

    AI agent 安全扫描器。检测 agent 配置、MCP 服务器和工具权限中的漏洞。提供 CLI、GitHub Action、ECC 插件和 GitHub App 集成。

    #C03 AI红队测试
  9. TypeScript · MIT新★ 13,289

    Portkey-AI/gateway

    一个速度极快的 AI 网关,内置防护栏。通过一个快速友好的 API 路由到 1600+ LLM 和 50+ AI 防护栏。

    #C03 AI红队测试
  10. JavaScript · MIT新★ 19

    putervision/spc

    高性能零依赖静态分析工具,在 20 种编程语言中强制执行 NASA Power of Ten 规则,并审计 AI agent 技能、MCP 服务器配置、提示模板和 LLM 模型安全。

    #C03 AI红队测试
10月28日周三9 条
  1. JavaScript新★ 30

    speedydivid/TokenForge

    面向 AI 编程智能体的上下文窗口优化。对工具输出进行沙箱化(减少 98%),通过 SQLite + FTS5 持久化会话记忆,并通过 MCP + hooks 在 17 个平台上执行路由。可与 Claude Code、Gemini CLI、VS Code Copilot、OpenCode、Codex CLI 配合使用。

    #C03 AI红队测试
  2. CC-BY-SA-4.0新★ 565

    OWASP/AISVS

    AI 安全验证标准(AISVS),为开发者、架构师和安全专业人员提供结构化检查清单,用于验证 AI 驱动应用的安全性。

10月27日周二6 条
10月26日周一5 条
  1. Rust · MIT新★ 17

    MikkoParkkola/nab

    面向 LLM 智能体的省 token 网页微抓取工具:任意 URL → 干净 markdown,提供 CLI、MCP 服务器和 Claude Code 插件。支持真实浏览器 Cookie 认证、passkey、反爬绕过,默认开启提示注入防御,并具备端侧多模态 ASR/OCR。单个 Rust 二进制文件——不是浏览器。

    #C03 AI红队测试
  2. Python · MIT新★ 348

    martian56/redcell

    AI 红队平台。自主 LLM 智能体在 Kali 容器内端到端执行渗透测试并撰写报告。采用 LangGraph 计划/执行引擎,通过 LiteLLM 接入各厂商模型,输出 PDF/JSON/SARIF。技术栈为 FastAPI + React。

    #C03 AI红队测试
10月25日周日3 条
  1. TypeScript · GPL-3.0新★ 211

    BIGPPWONG/EdgeBox

    功能完备的 GUI 驱动本地 LLM 代理沙箱,完整支持 MCP 协议,提供 CLI 与桌面环境,让 AI 代理像人类一样操作浏览器、终端等桌面应用,基于 E2B 开源代码构建。

    #C03 AI红队测试
10月24日周六7 条
10月23日周五7 条
  1. Python · NOASSERTION新★ 124

    OraclesTech/guardian-sdk

    Ethicore Engine® 是一个 AI 安全、伦理与合规平台。本仓库包含 Ethicore Engine™ 的开源组件 Guardian SDK,通过多层分析流水线保护 AI 应用免受提示注入、越狱、角色劫持、系统提示提取及 100 多种其他威胁类别的侵害

    #C03 AI红队测试
10月22日周四5 条
  1. Go · GPL-3.0新★ 93

    secnova-ai/ClawdSecbot

    ClawdSecbot is a professional AI Bot security protection solution, providing security capabilities including real-time threat detection, prompt injection protection, and security auditing to comprehensively protect your AI applications. ClawdSecbot 是一款专业的 AI Bot 安全防护解决方案,提供实时威胁检测、提示词注入防护、安全审计等安全能力,全方位保护您的 AI 应用安全。

  2. Rust · Apache-2.0新★ 21

    gryszzz/open-thymos

    AI 智能体沙箱监狱运行时,提供本地优先的桌面应用和 CLI。可与任意模型(Claude、OpenAI、Groq、Ollama、LM Studio)对话;每个动作都经过意图 → 提案 → 提交的流程,由签名的能力授权令、按风险分级的审批和可重放的哈希链账本管控。可在 Mind 图谱中观察其思考过程。认知层提出建议,运行时层负责治理。

    #C03 AI红队测试
  3. Rust · MIT新★ 43

    Azure/kars

    面向 Kubernetes 的 Agent Reference Stack(kars)—— 微软开源的一套技术栈,用于在 Kubernetes 上安全运行 AI agent。多运行时、感知 Foundry、按 agent 加固的沙箱、受管控的出站流量、端到端加密的 agent 间网格。

    #C03 AI红队测试
10月21日周三4 条
10月20日周二7 条
  1. Python · MIT新★ 20

    GoldenWing-360/claude-security-skills

    25 个经生产验证的 Claude Code 防御性安全技能——WordPress、VPS、Cloudflare、Next.js 加固、AI 代理护栏、MCP 安全、提示注入防御、OWASP LLM Top 10、LLM 编码失败模式(slopsquatting、幻觉 API、谄媚)、事件响应、GDPR/DACH 合规。MIT,久经实战。

    #C03 AI红队测试
10月19日周一3 条
10月18日周日2 条
10月17日周六1 条
10月16日周五1 条
10月15日周四3 条
10月14日周三3 条
  1. Kotlin · MIT新★ 11

    K4N3CO-LABS/JailBreak-Ai

    JailBreak-Ai is an advanced AI red-teaming app for Android. It generates high-fidelity payload prompts to test AI safety filters, model robustness, and logical boundary security for Jailbreaking capabillities.

    #C03 AI红队测试
10月13日周二1 条
  1. Python · Apache-2.0新★ 28

    atliq/guardex-ai

    LLM 防护栏 Python SDK,提供安全分类、PII 检测、提示注入防御和依据性检查,无需外部 API 即可在本地保护 AI 应用,支持流式输出,可即插即用地集成到任意 LLM

    #C02 AI对抗防御
10月10日周六1 条
  1. Python · MIT新★ 25

    shriramkv/mcp-server-audit

    一款对 CI 友好的开源 CLI,在 MCP 服务器接入 AI 智能体之前对其进行静态审计。它无需调用任何工具,即可标记工具投毒、隐藏的 Unicode 载荷、误导性注解和宽松的模式,并按严重程度报告发现,用于流水线门禁。

10月9日周五1 条
10月8日周四3 条
  1. Python · MIT新★ 70

    ax128/AegisGate

    面向 LLM API 的开源安全网关,提供提示注入检测、PII 脱敏、危险响应过滤与审计日志,兼容 OpenAI/Claude,可作为 Cursor、Claude Code 等 AI 编码代理的即插即用代理。

    #C03 AI红队测试
  2. Python新★ 26

    bountyyfi/mcp-watchdog

    位于 AI 编码助手与 MCP 服务器之间的 MCP 安全代理,检测并阻断所有已知的 MCP 攻击类型。适用于 macOS、Linux 和 Windows 上的任意 MCP 服务器(工具、资源、提示)。

    #C03 AI红队测试
10月6日周二2 条
10月5日周一1 条
  1. Go · NOASSERTION新★ 16

    kcsinclair/kaos-control

    自托管的 Claude Code 智能体编排器:以角色门控的 SDLC(计划 → 构建 → 测试 → 发布)推进想法,支持每个智能体独立沙箱、运行过程实时流式输出,并以磁盘上的 markdown 作为唯一事实来源。单个 Go 二进制文件。

    #C03 AI红队测试
10月4日周日1 条
  1. Python · MIT-0新★ 17

    aws-samples/sample-mcp-security-scanner

    该模式介绍如何实现一个 Model Context Protocol (MCP) 服务器,集成三款行业标准安全扫描工具(Checkov、Semgrep 和 Bandit),提供全面的代码安全分析。该服务器让 Kiro 和 Amazon Q Developer 等 AI 编码助手能自动扫描代码片段。

10月1日周四2 条
9月29日周二2 条
9月28日周一1 条
9月27日周日1 条
9月26日周六2 条
  1. Rust · GPL-3.0新★ 21

    wrxck/srag

    用 Rust 编写的语义代码搜索与 RAG 系统,具备 tree-sitter 分块、用于 IDE 集成的 MCP 服务器、提示注入检测和密钥脱敏。

    #C03 AI红队测试
9月25日周五1 条
9月24日周四3 条
  1. Rust · AGPL-3.0新★ 12

    jmagly/agentic-sandbox

    可自托管的持久自主编码智能体运行时:KVM 隔离虚拟机(或无根容器)、带签名 AgentCard 发现的 A2A 协议执行器、AIWG 任务派发、Web 仪表盘、virtiofs 共享存储。运行在你自己的硬件上,无需托管控制平面。

    #C03 AI红队测试
  2. Python · MIT新★ 98

    slowmist/MasterMCP

    一套演示工具包,通过数据投毒、JSON 注入、函数覆盖和跨 MCP 调用攻击,揭示 MCP(Model Context Protocol)框架中潜在的安全漏洞,暴露 AI 安全问题并提供防御建议。仅供教育与研究用途。

9月22日周二1 条
9月21日周一1 条
9月20日周日1 条
9月17日周四2 条
  1. Python · NOASSERTION新★ 21

    aminrj-labs/mcp-attack-labs

    面向 AI agent 的动手式攻防安全实验:MCP 工具投毒、跨服务器影子攻击、RAG 注入、agentic 记忆攻击,以及可运行的五阶段 MCP→A2A 杀伤链。可在本地复现,无需云 API。

9月14日周一3 条
9月3日周四1 条
8月27日周四1 条
8月23日周日1 条
8月19日周三2 条
8月18日周二1 条
7月30日周四1 条
  1. MIT新★ 18

    nshkrdotcom/GUARDRAIL

    GUARDRAIL——MCP 安全网关,提供统一访问、资源委派和降低风险的信息限制。

    #C03 AI红队测试
7月29日周三2 条
7月27日周一1 条
7月6日周一1 条
7月1日周三2 条
6月15日周一1 条
5月19日周二1 条
5月13日周三1 条
4月28日周二1 条
  1. Python · MIT新★ 11

    andrasfe/vulnicheck

    Python 漏洞扫描器与 MCP 安全工具包,通过 OSV/NVD/GitHub Advisory DB 实时检查依赖,支持 Docker 分析、密钥检测、MCP 配置校验、LLM 风险评估与交互式安全审计。

2月4日周三1 条
  1. Jupyter Notebook · GPL-3.0新★ 13

    drmhrehman/trustfed

    提出基于区块链的框架 TrustFed,用于跨设备联邦学习系统检测模型投毒攻击、实现公平训练设置并维护参与设备的信誉。TrustFed 通过检测并移除攻击者来保证公平性,利用区块链智能合约维护参与设备的信誉,促使参与者积极、诚实地贡献模型。实现上使用了 Python 模拟的联邦学习框架、区块链智能合约和统计离群点检测技术。

12月8日周一1 条
今天10月30日周五10 条