跳到正文

看学术

AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。

分类筛选展开
共 14 条 · 更新于 08:16
今天10月30日周五12 条
  1. AI安全71

    Damn Vulnerable MCP Server 开源十个递进式 MCP 攻击靶场挑战

    GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server,包含十个难度递增的挑战,每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员,让他们在一个以被攻破为目标的靶场上接触各类失败模式。

  2. AI安全42

    Microsoft Learn 推出生成式 AI 红队演练入门视频系列

    Microsoft Learn 于 2025 年 7 月发布了一套生成式 AI 红队演练入门视频系列,内容基于 Microsoft 自有 AI 红队的案例研究与工具链。该系列与 Code and PoCs 下的 AI Red Teaming Playground Labs 挑战任务对应,既可独立观看,也可配合实验环境实操演练。

  3. 安全向导38

    机器学习系统失效模式清单:区分有意与无意失效

    文档以表格形式梳理了机器学习系统的有意与无意失效模式:有意失效由主动攻击者为达成目标破坏系统所致,无意失效则是 ML 系统产出形式上正确但完全不安全的结果。该文档旨在为工程师、律师与政策制定者提供一套共同词汇,用于讨论这些问题并构建解决方案。

  4. 安全向导62

    英国 NCSC 发布 Agentic AI 网络风险管理临时指南

    英国国家网络安全中心(NCSC)于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议,提出七项实操考量:识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中,届时将取代这份临时建议。

  5. 安全向导25

    NCC Group 解析提示词注入攻击机制

    NCC Group 于 2022 年 12 月发布提示词注入(Prompt Injection)入门解析,当时该攻击手法尚属新兴威胁。文章解释了机器学习语境下"提示词"的定义、注入攻击如何滥用提示词机制、攻击可触及的范围,以及相应防护措施,至今仍是讲解该攻击机制较为清晰的早期入门材料之一。

  6. 安全向导42

    Microsoft AI Red Team:团队组织、红队演练规划与威胁建模入口

    Microsoft AI Red Team 公开其 AI 红队演练材料入口,介绍团队组织方式、一次红队演练行动的规划流程,以及演练中重点寻找的失败模式。该入口同时列出失败模式与威胁建模相关文档,作为后续威胁建模工作的起点。

  7. 安全向导58

    Cloud Security Alliance 发布面向智能体系统的 MAESTRO 威胁建模框架

    Cloud Security Alliance 提出面向 agentic 系统的威胁建模方法 MAESTRO,指出传统方法因智能体会规划、调用工具并跨信任边界行动而难以适用。该框架从基础模型到智能体生态共分七层,逐层追问可能出现的问题,发布于 2025 年 2 月。

10月23日周五
  1. arXiv8

    DLT Terms 100:基于 ISO 22739:2024 的区块链术语学习词汇表

    一篇 arXiv 论文提出 "DLT Terms 100",一份基于 ISO 22739:2024 的区块链(分布式账本技术 DLT)学习者词汇表,旨在提升 DLT 素养。该词汇表按术语在国内外代表性文献中的出现频率与难度分级归类标注,以缓解业务与技术术语脱节、既有金融术语被挪用造成的理解障碍。论文指出 DLT 社会落地慢于预期,部分源于工程师与具备相关素养的人才短缺。

10月21日周三
  1. ShortSpan76

    MMA-SafetyBench 评测揭示多模态智能体易被伪造界面元素劫持

    研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench,包含 1,083 条对抗轨迹,覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域,对九个视觉语言模型评测。