Zwony/RedAgent
Enterprise-grade automated AI Agent Red Teaming & Security Auditing platform targeting OWASP Top 10 for LLMs.
AI 安全相关的开源项目、工具与仓库动态,按内容类型筛选,支持搜索。
Enterprise-grade automated AI Agent Red Teaming & Security Auditing platform targeting OWASP Top 10 for LLMs.
生成式 AI 与 Agentic AI 安全事件的单一事实来源,映射到 OWASP LLM Top 10、OWASP Agentic Top 10(ASI)、NIST AI RMF 和 MITRE ATLAS。
Open-source agentic security operations platform:
面向 AI 代理的自托管运行时控制平面。在恶意工具调用执行前进行观察、人工审批或阻断:密钥泄露、提示注入、供应链等,均在本地仪表盘中处理。与代理无关(Claude、codex、langchain 等)。
AI 安全代理守护你的代码。
针对提示注入的各种实用与提议防御方案。
该项目通过对一组输入提示进行二分类来研究大语言模型的安全性,以发现恶意提示。已使用经典机器学习算法、预训练 LLM 模型和微调 LLM 模型分析多种方法。
50+ 个用于 AI 驱动渗透测试的 MCP 安全服务器 | 集成 Nmap、Burp Suite、Nuclei、Shodan、BloodHound、Semgrep、Trivy | 面向网络安全的 Model Context Protocol
Rational engineering system prompt for Codex and LLMs — focused on accuracy, software engineering, AI, security research, bug bounty, and reverse engineering. | 面向 Codex 与 LLM 的理性工程系统提示词:强调准确性、软件工程、AI、网络安全、漏洞研究与逆向工程。
开源 AI Agent 安全框架,可对 AI Agent 进行评分、加固和治理,基于 DoD/DISA 零信任原则构建。
零认证、安全加固的跨领域研究 MCP 服务器:网页、学术、GitHub、新闻、天气、宏观/金融、SEC、生物医学、Bluesky、YouTube。具备 SSRF 与提示注入防御。
FORGEDAN——LLM 安全评估的进化框架 | 6 种攻击方法 | 18 个模型适配器 | Vue 3 仪表盘 | Web 安全扫描
用 Rust 编写的高性能字符串格式化器。该项目可检测并阻止 LLM 提示注入和越狱攻击,还提供可定制的基于规则的系统,并能防御混淆式提示攻击。
针对 OWASP 2024 大型语言模型十大漏洞的防护方案。
一个多层多级机器学习安全解决方案,支持常开检测系统,使用 Django REST framework,并配有通过 REST API 调用的浏览器扩展。
大型语言模型能解决安全挑战吗?我们利用 OverTheWire wargames 环境测试 LLM 与 shell 环境交互并从中逃逸的能力,展示了模型在 shell 环境中执行面向行动的网络攻击的惊人能力。