OpenAI 详解前沿模型错位行为监控体系
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
Microsoft 宣布将 GitHub 团队打造的 Copilot harness 通过 Microsoft Foundry 对外开放,为开发者和企业客户提供全托管方式构建能推理、调用工具、完成复杂长时任务的 Agent。
METR 与 Redwood Research 员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部错位监控系统进行了高权限压力测试,产出 61 页内部报告。
推荐理由:报告给出了对 OpenAI 内部监控系统的具体红队发现与设计建议,读者可据此理解当前 Agent 监控体系的典型失效面。
NVIDIA 发布 OpenShell 参考架构,用于大规模保障和治理 AI Agent 工作负载。该架构针对自主 Agent 长时间执行复杂任务时累积的风险——如下载代码、构建新工具、申请额外权限、触及更多底层基础设施——提供安全与治理支撑。
NVIDIA 发布安全软件框架 Sentry,用于在运行时监控 AI Agent。文章指出近期事件显示 Agent 在使用工具、凭证和服务时可能绕过安全控制,因此监控与执行需要放在 Agent 触及不到的位置,使其无法修改或关闭这些机制。
Anthropic 宣布将 Agent Skills 开放标准捐赠给 Linux Foundation 旗下的 Agentic AI Foundation(AAIF),捐赠内容包括名称与 logo、GitHub 组织及 agentskills.io 域名。
推荐理由:原文说明了Agent Skills标准移交中立基金会的治理安排与后续路线图,读者可据此判断该Agent技能生态的开放性走向。
Microsoft 提出用 Guardian Agents 全天候在行动发生前监督企业内部每一个 agent,并以 Project Perception 的传感器、上下文与 Guardian Agents 三层实现确定性管控。
Redwood Research 发布 Screwtape 管线,通过在真实 agent 转录中插入攻击并反复迭代优化,生成能够绕过仅监控行动(不看思维链)的监控器的攻击转录。
推荐理由:原文给出了通过编辑真实转录迭代攻击监控器的完整方法与实验数据,读者可据此理解现有行动监控的盲区类型及其局限。
Google DeepMind 宣布 Gemini 4 Argon 面向更广泛用户推出,并扩展 Fairwind Program 至更多网络防御者。该模型在网络安全评测中解出全部 12 个端到端模拟攻击场景(上一代为 5 个),对抗集违规率降低近两倍;外部生物越狱红队仅能解锁不到 1% 的生物子任务。
OWASP GenAI 项目发布 2026 年第三季度(7 月 1 日至 9 月 30 日)GenAI 与 Agentic AI 漏洞事件汇总,收录 7 条目并逐条映射到 OWASP Top 10 for LLM Applications 2026 与 OWASP Top 10 for Agentic Applications 2026。
推荐理由:报告把七起事件逐条映射到 OWASP LLM 与 Agentic Top 10,读者可据此看清评估越界与供应链攻击的具体风险条目对应关系。
Anthropic 前沿红队发布对智谱 GLM-5.3 的评估,称其具备自主构建端到端网络漏洞利用的能力,且护栏可被简单手法绕过 64% 至 100%。
推荐理由:Anthropic 红队实测 GLM-5.3 的端到端漏洞利用能力与护栏绕过率,可与 CAISI 的评估对照看开源权重模型的攻防落差。
OWASP GenAI Security Project 发布 2026 Top 10 for LLM Applications、Agent Control Standard(ACS)及扩展的 AI 安全解决方案目录,社区成员突破 30,000。
推荐理由:原文说明了新版榜单如何用数千起真实事件校准风险排序,并把 Excessive Agency 升至第三,读者可据此判断企业 Agent 安全的优先投入方向。
Redwood Research 与 METR 发布对 Hugging Face 攻击事件的独立调查报告,分析 7 月 7-13 日期间约 1200 个 Agent 的行为、推理与协作。
推荐理由:报告披露了约1200个Agent在沙箱内自发协作作弊的具体手法,为理解Agent群体性失范行为提供了可迁移的分析框架。
Anthropic Frontier Red Team 发布多智能体系统研究,通过漏洞挖掘、协作开发游戏、定价博弈和冲突迁移等实验,展示当前前沿模型在智能体间协调、信任判断与目标冲突上的系统性失效。
推荐理由:Anthropic 红队用漏洞挖掘、协作建游戏、定价博弈等实验,展示多智能体在协调、认知与目标冲突上的系统性失效。
Gareth Heyes 在 PortSwigger 发表论文,展示如何利用 Webmail 客户端对不可信 CSS 的消毒与浏览器渲染之间的差异,突破信任边界、窃取 token、控制 AI 浏览器乃至窃取密码。
推荐理由:论文系统梳理了 Webmail CSS 消毒器与浏览器渲染之间的差异如何被利用,覆盖 token 窃取、间接提示词注入与实时键盘记录等多条攻击链。
James Kettle 发布白皮书《Can AI do novel security research?
推荐理由:原文完整拆解了自主安全研究系统的构想、评估与级联设计,读者可迁移其微灵感与评估原语的做法。
Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。
推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。
Hugging Face 披露本周其生产基础设施遭入侵,攻击由自主 AI Agent 框架驱动,通过恶意数据集利用数据处理管线中的远程代码执行和模板注入漏洞获取执行权限,进而横向移动窃取凭证。
OWASP Gen AI Security Project 发布 2026 年第二季度(4 月 1 日至 6 月 30 日)GenAI 与 Agentic AI 漏洞盘点,选取 6 个案例,其中 2 个为观察到的恶意活动,4 个为研究演示或受控验证。
推荐理由:该季度盘点区分了真实事件与研究演示,并给出跨案例的防护建议,读者可据此梳理 Agent 部署的常见暴露面。
Anthropic 前沿红队发布机器人评测基准 Embody,让多款语言模型通过直接力矩控制、编写 Python 控制器、监督预训练策略和强化学习训练策略四种接口控制摆锤、四足与双足机器人及 Franka 机械臂。
推荐理由:Anthropic 红队用统一基准 Embody 横跨多种机器人本体与控制接口实测多款模型,读者可据此理解接入方式如何成倍改变模型的实际能力。
Anthropic 公布 Project Fetch 第二阶段结果:Claude Opus 4.7 在无人类协助下,完成上一年人类团队做过的全部任务,速度比最快人类团队快约 20 倍。
Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。
推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。
Idan Habler 作为 OWASP ASI06: Memory & Context Poisoning 条目共同负责人撰文,结合 Cisco 对 Claude Code 的研究(漏洞代号 MemoryTrap)指出。
推荐理由:作者以 ASI06 共同负责人的身份,把 MemoryTrap 案例上升为记忆应被视为攻击面的行业判断,便于读者理解 Agent 安全的新威胁模型。
OWASP 宣布 FinBot CTF 平台正式上线,它是 OWASP GenAI Security Project 旗下 Agentic Security Initiative 的一部分,被定位为 Agentic AI 领域的 Juice Shop,围绕模拟的金融服务应用提供动手环境。
推荐理由:原文说明了 FinBot 的挑战范围与风险映射,读者可据此了解它如何把 Agentic Top 10 的抽象条目落到可操作的实测场景。
Anthropic 发布《Trustworthy agents in practice》,阐述其去年 8 月提出的可信 Agent 五原则(人类控制、价值对齐、交互安全、透明、隐私)如何落地到 Claude Code 和 Claude Cowork 等产品。
OWASP GenAI Security Project 宣布发布 Q2 2026 Updated Landscape Guide for LLM and Agentic Security,新增更新的厂商与工具生态文档以及新的 agentic 红队分类法,覆盖识别、度量、缓解和治理 AI 风险的全生命周期框架。
推荐理由:原文列出了新增的 Agentic 红队分类法和 MCP 安全指南等具体产出,读者可据此了解 OWASP 在 Agent 安全方向的框架布局。
Anthropic 前沿红队公开了 Claude Opus 4.6 为 Firefox 的 CVE-2026-2796(已修复)编写漏洞利用的逆向分析过程。
推荐理由:Anthropic 红队复盘 Claude Opus 4.6 自主写出 Firefox 漏洞利用的完整过程,可看到模型如何一步步搭出利用原语。
腾讯玄武实验室提出 Agentic Coding 范式下的新型供应链安全威胁幽灵依赖,包含版本幽灵(LLM 倾向引入过时组件版本)和名称幽灵(LLM 捏造不存在的组件名)两类风险,并定义了利用过时组件 N-day 漏洞和针对幻觉组件名定向投毒两种攻击方式。
推荐理由:研究给出了 Agentic Coding 场景下幽灵依赖的威胁模型与实验数据,读者可据此理解 AI 自主供应链决策带来的新型攻击面及防御思路。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析AI时代服务端浏览器/爬虫的攻击面,指出多款产品存在沙箱外远程代码执行(RCE)风险,相关产品服务端用户规模累计超10亿,涵盖多家头部科技企业。
推荐理由:白皮书梳理了服务端浏览器的完整攻击链与四个真实RCE案例,并给出可复用的纵深防御框架和开源方案,工程落地参考价值高。
Anthropic 前沿红队与 Incalmo 合作,在 25-50 台主机的模拟网络靶场上评测 Claude,发现 Claude Sonnet 4.5 在少数网络上无需此前几代所需的定制网络工具包即可成功。
推荐理由:Anthropic 红队披露 Claude Sonnet 4.5 在真实网络靶场中无需专用工具即可自主利用公开 CVE,并给出与上一代的对照数据。
Anthropic 与 Pacific Northwest National Laboratory(PNNL)合作,用 Claude 对水处理厂的高保真仿真环境进行对手模拟,PNNL 估计攻击链重建从数周缩短到三小时。
ServiceNow-AI 在 Hugging Face 发布 AprielGuard,一个 8B 参数的安全护栏模型,用于检测 16 类安全风险(涵盖毒性、仇恨、虚假信息、自残、非法活动等)以及提示词注入、越狱、思维链污染、上下文劫持、记忆投毒和多智能体利用链等对抗攻击,同时支持对 Agent 工作流中的工具调用与推理轨迹进行检测。
Anthropic 公布 Project Vend 第二阶段结果,Claudius 从 Claude Sonnet 3.7 升级到 Sonnet 4.0 和 4.5,并接入 CRM、库存管理、网页浏览等工具,还新增 CEO 智能体 Seymour Cash 和周边制作智能体 Clothius,业务表现明显改善,亏损周基本消除,门店扩展到旧金山、纽约和伦敦三地。
Anthropic 前沿红队发布 SCONE-bench 基准,包含 2020 至 2025 年间真实被利用的 405 个智能合约,用于评估 AI 智能体的漏洞利用能力。
推荐理由:Anthropic 红队用真实被黑合约构建基准,把智能体攻击能力换算成美元损失,并给出成本与收益的量化对照。