Damn Vulnerable MCP Server 开源十个递进式 MCP 攻击靶场挑战
GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server,包含十个难度递增的挑战,每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员,让他们在一个以被攻破为目标的靶场上接触各类失败模式。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server,包含十个难度递增的挑战,每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员,让他们在一个以被攻破为目标的靶场上接触各类失败模式。
Microsoft Learn 于 2025 年 7 月发布了一套生成式 AI 红队演练入门视频系列,内容基于 Microsoft 自有 AI 红队的案例研究与工具链。该系列与 Code and PoCs 下的 AI Red Teaming Playground Labs 挑战任务对应,既可独立观看,也可配合实验环境实操演练。
文档以表格形式梳理了机器学习系统的有意与无意失效模式:有意失效由主动攻击者为达成目标破坏系统所致,无意失效则是 ML 系统产出形式上正确但完全不安全的结果。该文档旨在为工程师、律师与政策制定者提供一套共同词汇,用于讨论这些问题并构建解决方案。
HiddenLayer 的研究论证序列化模型属于可执行内容而非惰性数据,并展示这一属性带来的影响,可与已收录的 Safetensors 相关文章对照阅读。
英国国家网络安全中心(NCSC)于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议,提出七项实操考量:识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中,届时将取代这份临时建议。
Embrace the Red 推出一系列从红队演练与安全测试视角探讨机器学习的博客文章,涵盖机器学习基础、威胁建模、实战攻击与防御等主题,并介绍了作者构建的机器学习系统 Husky AI。
OWASP 发布 GenAI Incident Response Guide 1.0,介绍如何响应涉及生成式 AI 的安全事件。指南说明了其与传统事件响应的差异,包括将提示词和输出作为证据、模型与数据回滚,以及同一输入可能无法复现相同故障的问题。
NCC Group 于 2022 年 12 月发布提示词注入(Prompt Injection)入门解析,当时该攻击手法尚属新兴威胁。文章解释了机器学习语境下"提示词"的定义、注入攻击如何滥用提示词机制、攻击可触及的范围,以及相应防护措施,至今仍是讲解该攻击机制较为清晰的早期入门材料之一。
Microsoft AI Red Team 公开其 AI 红队演练材料入口,介绍团队组织方式、一次红队演练行动的规划流程,以及演练中重点寻找的失败模式。该入口同时列出失败模式与威胁建模相关文档,作为后续威胁建模工作的起点。
Cloud Security Alliance 提出面向 agentic 系统的威胁建模方法 MAESTRO,指出传统方法因智能体会规划、调用工具并跨信任边界行动而难以适用。该框架从基础模型到智能体生态共分七层,逐层追问可能出现的问题,发布于 2025 年 2 月。
Lakera 发布《Prompt Injection Attacks Handbook》,系统梳理提示词注入(Prompt Injection)的攻击技术、真实案例及可用防御措施。该手册为实操导向,面向需要理解提示词注入攻击面与防护手段的读者。
OWASP 发布 Multi-Agentic System Threat Modeling Guide v1.0,面向多个相互交互的智能体系统开展威胁建模。该指南指出,此类系统风险来自委派、共享记忆以及智能体之间的信任,而非单一模型本身。
一篇 arXiv 论文提出 "DLT Terms 100",一份基于 ISO 22739:2024 的区块链(分布式账本技术 DLT)学习者词汇表,旨在提升 DLT 素养。该词汇表按术语在国内外代表性文献中的出现频率与难度分级归类标注,以缓解业务与技术术语脱节、既有金融术语被挪用造成的理解障碍。论文指出 DLT 社会落地慢于预期,部分源于工程师与具备相关素养的人才短缺。
研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench,包含 1,083 条对抗轨迹,覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域,对九个视觉语言模型评测。