看开源

Zhou-Zi7/Awesome-AI-Security-BIG4

这个 GitHub 仓库汇总了四大顶级学术会议上关于 AI 安全的研究论文列表。

Tencent/AI-Infra-Guard

全栈 AI 红队测试平台，通过 Agent Scan、Skills Scan、MCP scan、AI Infra scan 和 LLM 越狱评估来保障 AI 生态安全

GenggengSvan/Jailbreak-Observatory

LLM 越狱研究趋势分析仓库

The-Art-of-Hacking/h4cker

此仓库由 Omar Santos（@santosomar）维护，收录数千份与道德黑客、漏洞赏金、数字取证与事件响应（DFIR）、AI 安全、漏洞研究、漏洞利用开发、逆向工程等相关的资源。另见：https://hackertraining.org

CryptoAILab/Awesome-LM-SSP

大模型安全、安保与隐私的阅读清单（包括 Awesome LLM Security、Safety 等）。

pazo01/awesome-cyber-ai-arsenal

精选的攻击性、防御性及 AI/LLM 安全工具合集。

enguard-ai/awesome-ai-guardrails

精选的 AI 护栏资料列表

langgptai/LLM-Jailbreaks

LLM 越狱、ChatGPT、Claude、Llama、DAN 提示词、提示词泄露

corca-ai/awesome-llm-security

关于 LLM 安全的优质工具、文档和项目精选。

fishman/awesome-agent-sandbox

面向 AI 编程智能体的可移植、自包含沙箱——microVM、容器、隔离框架。

jassics/awesome-genai-security

与 GenAI 和 LLM 安全相关的链接、参考资料、书籍视频、教程（免费或付费）、漏洞利用、CTF、黑客实践等精选列表

DeepSpaceHarbor/Awesome-AI-Security

#AISecurity

PromptLabs/Prompt-Hacking-Resources

面向对 AI 红队、越狱和提示注入感兴趣者的精选资源列表

yunwei37/prompt-hacker-collections

prompt attack-defense, prompt Injection, reverse engineering notes and examples | 提示词对抗、破解例子与笔记

ChuprinaDaria/Vibecode-Cleaner-Fartrun

由 Rust 驱动的代码扫描器，直接读取代码库而不消耗额外 token，提供 29 个 MCP 工具，涵盖安全漏洞、死代码、健康检查、存档点与冻结文件检测。

RiskySignal/record_what_i_read

AI 模型安全阅读笔记

TaroYamada08/Hacker

This repository is maintained by Taro and includes thousands of resources related to ethical hacking, bug bounties, digital forensics and incident response (DFIR), AI security, vulnerability research, exploit development, reverse engineering, and more. 🔥 Also check: https://hackertraining.org

beyefendi/awesome-llm-security

精选的 LLM 安全工具、研究与文档

RiccardoBiosas/awesome-MLSecOps

精选的 MLSecOps 工具与资源列表，用于保护机器学习和 AI 系统——涵盖对抗性 ML 防御、LLM 安全、AI 红队测试、模型扫描、供应链防护和 MLOps 流水线安全

PensiveFei/dsh-secure-audit

DeepSeek Harness 的只读安全与合规插件：提示词注入检测、中文 PII 脱敏，以及本地配置审计，输出经过脱敏、可复现的报告。

TalEliyahu/Awesome-AI-Security

保护 AI 系统的精选资源、研究与工具

akashrpatil/awesome-offensive-security-skills

面向 AI 编码 agent 的 191+ 个久经实战检验的网络安全技能，涵盖漏洞赏金、渗透测试、红队和 AI 红队，兼容 Claude Code、Cursor、Copilot。

SnailSploit/The-LLM-Red-Teamer-s-Playbook

绕过 LLM 防御层（从输入过滤到持久内存利用）的诊断方法。

frangelbarrera/Awesome-Hacking-with-AI

一份以证据为导向的精选指南，涵盖 AI 赋能安全与 AI 自身安全。包括防御研究、智能体安全、MCP 安全、AI 红队测试与评估、授权测试工作流和检测工程

WhileBug/AwesomeLLMJailBreakPapers

LLM 越狱学术论文精选

wearetyomsmnv/Awesome-LLMSecOps

在一个 GitHub 仓库中汇集 LLM、智能体、安全与运营内容，配有优质链接和图片

muellerberndt/awesome-ai-security

AI 安全精选列表 / 学习路线

kagnlp/Awesome-Agentic-Security

精选的 260 多篇 Agentic 安全论文与资源列表，基于一份综述，涵盖从被动 LLM 到自主 Agent 的转变，围绕三大支柱组织：应用（红队/蓝队）、威胁（注入、投毒）和防御（护栏、验证）。

ismailkho/awesome-mcp-servers-security

带实时安全评分和云技能的 Model Context Protocol (MCP) 服务器精选列表。

82ch/MCP-Dandan

面向 Agentic AI 的 MCP 安全方案 —— 实时代理、行为分析和恶意工具检测

AgenticHardening/awesome-agentic-hardening

🛡️ A curated list of tools, papers, frameworks, and best practices for hardening agentic AI systems — covering prompt injection defense, runtime sandboxing, protocol security, red teaming, and governance standards.

kaplanlior/oss-llm-security

聚焦 LLM 安全的开源项目精选列表

getagentseal/awesome-mcp-security

800+ 个 MCP 服务器的安全评分。9 个分析器扫描提示注入、有毒数据流和攻击面风险，每日更新。

martinholovsky/awesome-llm-attacks

一份经过整理、映射到框架的 LLM 与 GenAI 系统攻击技术目录，交叉引用 OWASP LLM Top 10、MITRE ATLAS、OWASP ASI 和 MCP 安全。

arjan/awesome-agent-sandboxes

面向 AI/LLM 智能体的代码执行沙箱方案精选列表

Puliczek/awesome-mcp-security

🔥🔒 Awesome MCP (Model Context Protocol) 安全 🖥️

AIM-Intelligence/awesome-mcp-security

与 MCP（Model Context Protocol）、MCP 服务器等相关的安全威胁

Meirtz/Awesome-LLM-Jailbreak

0xSweet/awesome-llm-security-alignment

LLM 安全与对齐相关研究论文、实验和资源的精选列表。

ARUNAGIRINATHAN-K/awesome-llmsecops

✨LLM 安全运营，保障 AI 系统全生命周期的安全。

TalEliyahu/AI-Security-Newsletter

AI 安全月报，汇总 AI 安全研究、洞察、报告、活动及工具资源。

HayatoFujihara/awesome-ai-red-teaming-jp

AI Red Teaming / AI Safety に関する日本語リソースのキュレーションリスト

christiancscott/awesome-LLM-security

面向 LLM 和 GenAI agent 的威胁建模与安全测试资源汇编

byerose/Awesome-Foundation-Model-Security

可信生成式 AI 论文精选列表。每日更新……

EthicalML/fml-security

《有缺陷的机器学习安全》的实践示例，以及贯穿机器学习模型生命周期端到端阶段（从训练、打包到部署）的 ML 安全最佳实践。

briland/LLM-security-and-privacy

LLM 安全与隐私

xsankar/AI-Red-Teaming

LLM 红队与生成式 AI 相关的全部内容

rushout09/llm-security-startups

全面精选的 LLM 安全初创公司列表。