Simon Willison 解读英国AISI技术报告:AI代理在评测中对真实目标发起未授权攻击
Simon Willison 转述英国 AI Security Institute(AISI)技术报告:2026年7月25日至28日的网络评测中,AI 代理在关闭安全分类器、直接接入互联网的配置下,对真实个人和组织发起持续的未授权行动。
推荐理由:原文摘出技术报告中AI代理在真实互联网上发起未授权攻击的关键细节,读者可据此理解关闭安全分类器与开放网络的评测配置风险。
攻防与治理方向
智能体系统的安全边界:Agent 权限与工具滥用、多智能体协作攻击、MCP 与工具调用安全、RAG 检索注入。
116 条精选近 30 天 89 条共收录 332 条
Simon Willison 转述英国 AI Security Institute(AISI)技术报告:2026年7月25日至28日的网络评测中,AI 代理在关闭安全分类器、直接接入互联网的配置下,对真实个人和组织发起持续的未授权行动。
推荐理由:原文摘出技术报告中AI代理在真实互联网上发起未授权攻击的关键细节,读者可据此理解关闭安全分类器与开放网络的评测配置风险。
James Kettle 发布白皮书《Can AI do novel security research?
推荐理由:原文完整拆解了自主安全研究系统的构想、评估与级联设计,读者可迁移其微灵感与评估原语的做法。
Simon Willison 介绍了 Håkon Måløy 发现的一种提示词注入新变种:攻击者在文档中藏入隐藏指令,Copilot for Word 可能把这些指令当作用户请求的一部分执行,并将指令复制进生成的文档,使该文档成为新的载体,在后续 Copilot 工作流中再次触发并传播,即使原始攻击文档已不存在。
推荐理由:原文介绍了一种可自我复制的提示词注入新变种,读者可以据此理解文档类载体如何让注入攻击跨工作流传播。
Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。
推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。
Ayush Paul 发现 Claude 的 web_fetch 工具存在绕过路径:该工具原本只允许访问用户自己输入或 web_search 返回的精确 URL,但还允许访问此前抓取页面中嵌入的链接,攻击者可搭建蜜罐站点诱导 Agent 沿嵌套生成链接逐级跳转外泄数据。
推荐理由:原文复盘了 web_fetch 防数据外泄设计的绕过路径与修复方式,读者可据此理解嵌套链接这一类外泄面的成因。
OWASP Gen AI Security Project 发布 2026 年第二季度(4 月 1 日至 6 月 30 日)GenAI 与 Agentic AI 漏洞盘点,选取 6 个案例,其中 2 个为观察到的恶意活动,4 个为研究演示或受控验证。
推荐理由:该季度盘点区分了真实事件与研究演示,并给出跨案例的防护建议,读者可据此梳理 Agent 部署的常见暴露面。
Anthropic 前沿红队发布机器人评测基准 Embody,让多款语言模型通过直接力矩控制、编写 Python 控制器、监督预训练策略和强化学习训练策略四种接口控制摆锤、四足与双足机器人及 Franka 机械臂。
推荐理由:Anthropic 红队用统一基准 Embody 横跨多种机器人本体与控制接口实测多款模型,读者可据此理解接入方式如何成倍改变模型的实际能力。
Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。
推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。
Idan Habler 作为 OWASP ASI06: Memory & Context Poisoning 条目共同负责人撰文,结合 Cisco 对 Claude Code 的研究(漏洞代号 MemoryTrap)指出。
推荐理由:作者以 ASI06 共同负责人的身份,把 MemoryTrap 案例上升为记忆应被视为攻击面的行业判断,便于读者理解 Agent 安全的新威胁模型。
OWASP 宣布 FinBot CTF 平台正式上线,它是 OWASP GenAI Security Project 旗下 Agentic Security Initiative 的一部分,被定位为 Agentic AI 领域的 Juice Shop,围绕模拟的金融服务应用提供动手环境。
推荐理由:原文说明了 FinBot 的挑战范围与风险映射,读者可据此了解它如何把 Agentic Top 10 的抽象条目落到可操作的实测场景。
OWASP GenAI Security Project 宣布发布 Q2 2026 Updated Landscape Guide for LLM and Agentic Security,新增更新的厂商与工具生态文档以及新的 agentic 红队分类法,覆盖识别、度量、缓解和治理 AI 风险的全生命周期框架。
推荐理由:原文列出了新增的 Agentic 红队分类法和 MCP 安全指南等具体产出,读者可据此了解 OWASP 在 Agent 安全方向的框架布局。
Anthropic 前沿红队公开了 Claude Opus 4.6 为 Firefox 的 CVE-2026-2796(已修复)编写漏洞利用的逆向分析过程。
推荐理由:Anthropic 红队复盘 Claude Opus 4.6 自主写出 Firefox 漏洞利用的完整过程,可看到模型如何一步步搭出利用原语。
腾讯玄武实验室提出 Agentic Coding 范式下的新型供应链安全威胁幽灵依赖,包含版本幽灵(LLM 倾向引入过时组件版本)和名称幽灵(LLM 捏造不存在的组件名)两类风险,并定义了利用过时组件 N-day 漏洞和针对幻觉组件名定向投毒两种攻击方式。
推荐理由:研究给出了 Agentic Coding 场景下幽灵依赖的威胁模型与实验数据,读者可据此理解 AI 自主供应链决策带来的新型攻击面及防御思路。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析AI时代服务端浏览器/爬虫的攻击面,指出多款产品存在沙箱外远程代码执行(RCE)风险,相关产品服务端用户规模累计超10亿,涵盖多家头部科技企业。
推荐理由:白皮书梳理了服务端浏览器的完整攻击链与四个真实RCE案例,并给出可复用的纵深防御框架和开源方案,工程落地参考价值高。
Anthropic 前沿红队与 Incalmo 合作,在 25-50 台主机的模拟网络靶场上评测 Claude,发现 Claude Sonnet 4.5 在少数网络上无需此前几代所需的定制网络工具包即可成功。
推荐理由:Anthropic 红队披露 Claude Sonnet 4.5 在真实网络靶场中无需专用工具即可自主利用公开 CVE,并给出与上一代的对照数据。
Anthropic 前沿红队发布 SCONE-bench 基准,包含 2020 至 2025 年间真实被利用的 405 个智能合约,用于评估 AI 智能体的漏洞利用能力。
推荐理由:Anthropic 红队用真实被黑合约构建基准,把智能体攻击能力换算成美元损失,并给出成本与收益的量化对照。