Zwony/RedAgent
Enterprise-grade automated AI Agent Red Teaming & Security Auditing platform targeting OWASP Top 10 for LLMs.
看开源
AI 安全相关的开源项目、工具与仓库动态，按内容类型筛选，支持搜索。
分类筛选1展开收起
找到 18 个
Python · NOASSERTION新★ 15 Python · MIT新★ 31 emmanuelgjr/genai_incidents
生成式 AI 与 Agentic AI 安全事件的单一事实来源，映射到 OWASP LLM Top 10、OWASP Agentic Top 10（ASI）、NIST AI RMF 和 MITRE ATLAS。
Python · Apache-2.0新★ 468 PrismorSec/prismor
面向 AI 代理的自托管运行时控制平面。在恶意工具调用执行前进行观察、人工审批或阻断：密钥泄露、提示注入、供应链等，均在本地仪表盘中处理。与代理无关（Claude、codex、langchain 等）。
Rust · Apache-2.0新★ 11 sundarsub/execwall
OpenClaw 执行防火墙——Seccomp 锁定的 AI agent 沙箱，具备策略强制执行的命令治理、WhatsApp/Telegram 集成和 Python 隔离，可部署在 Oracle Cloud 免费层。
Python · MIT新★ 527 agencyenterprise/PromptInject
PromptInject 是一个以模块化方式组装提示词的框架，用于定量分析 LLM 对对抗性提示攻击的鲁棒性。🏆 获 NeurIPS ML Safety Workshop 2022 最佳论文奖
Batchfile新★ 91 buryusu/All-AI-Jailbreaks
面向 AI 模型鲁棒性研究、红队演练和防御评估的越狱与提示注入实验精选归档。
#C03 AI红队测试研究 / 基准adversarial-promptsai-robustnessai-safetyjailbreak-researchllm-securitymodel-evaluationPython · MIT新★ 20 Virtue-Research/guard-eval-harness
一条命令即可在安全、安保、越狱、提示注入和安全编码任务上对 AI 防护栏和编码 agent 进行基准测试
Jupyter Notebook · MIT新★ 19 zakky8/llm-jailbreak-taxonomy
基于机制的 40 种 LLM 越狱模式分类，涵盖 10 个类别。针对 2026 年 6 月前沿模型（Claude Opus 4-8、GPT-5.5、Gemini 3.5、DeepSeek V4）的 8000 次试验自举评估。每条引用均经直接 WebFetch 验证；被驳斥的说法也有记录。
#C03 AI红队测试研究 / 基准adversarial-attacksadversarial-mladversarial-testingai-red-teamingai-safetyai-security
Python · Apache-2.0新★ 19 humane-intelligence/hi-oss-ai-red-teaming
用于对 AI 模型和系统开展以人为中心的红队评估的平台
CC-BY-4.0新★ 11 fevziegeyurtsevenler/LLM-Security-Turkiye
土耳其语 AI 安全的开源框架：指南系列、实战学院、研究与实验、23+ 工具和 20 个 Hugging Face 数据集 + 模型。
JavaScript · MIT新★ 19 myProjectsRavi/sentinel-protocol
开源 AI 安全防火墙，内置 81 个引擎，支持 PII 检测、提示注入防御、MCP 安全与出站分类，本地优先、零云依赖。
Python · Apache-2.0新★ 129 SantanderAI/autoguardrails
面向 LLM 护栏的对齐研究脚手架（autoresearch 风格）：在单一 policy.md 表面上进行搜索
GitHub新★ 157 requie/LLMSecurityGuide
保护大语言模型（LLM）的综合参考，涵盖 OWASP GenAI Top-10 风险、提示注入、对抗性攻击、真实事件和实用防御，并收录红队工具、防护栏和缓解策略目录，帮助开发者、研究人员和安全团队负责任地部署 AI
#C03 AI红队测试研究 / 基准ai-safetyai-securityai-security-toolgenerative-ai-securitygenerative-ai-security-assurancellm-security
Python · MIT新★ 36 lihouwenbin/ai-redteam-recursive-self-improvement
面向递归自我改进治理的领域无关 AI 红队框架。
Python新★ 61 dongdongunique/EvoSynth
EvoSynth 是 SOTA 自动化 LLM 红队测试框架，通过多智能体合成、进化搜索和自我纠错来演化可执行的代码级越狱攻击方法。
Python · MIT新★ 17 KazKozDev/system-prompt-benchmark
面向 LLM 安全的自动化红队测试工具，评估系统提示词对提示注入、越狱和数据外泄攻击的抵御能力。
Python · MIT新★ 24 Coff0xc/LLM-Security-Assessment-Framework
FORGEDAN——LLM 安全评估的进化框架 | 6 种攻击方法 | 18 个模型适配器 | Vue 3 仪表盘 | Web 安全扫描
Jupyter Notebook · Apache-2.0新★ 12 dcarpintero/pangolin-guard
基于 ModernBERT 的轻量级自托管 AI 护栏模型。
#C03 AI红队测试研究 / 基准ai-safetyalternating-attentionfine-tuningflash-attentionhuggingface-transformersmodernbert