Simon Willison评Claude Code默认开启auto mode:仍需独立验证提示注入防护
Anthropic宣布自8月14日起Claude Code的auto mode将成为Pro、Max和Team计划新会话的默认设置。
推荐理由:作者结合自身对编码智能体安全性的预测,对Anthropic的auto mode安全声明提出独立质疑并给出具体攻击思路,可帮助读者理解自动批准模式的边界。
厂商与机构
Anthropic 的安全轨迹:Claude 责任 AI 与宪法式 AI、Red Team 与 Interpretability 团队发布、Responsible Scaling Policy 与安全评测。
51 条精选近 30 天 36 条共收录 149 条
Anthropic宣布自8月14日起Claude Code的auto mode将成为Pro、Max和Team计划新会话的默认设置。
推荐理由:作者结合自身对编码智能体安全性的预测,对Anthropic的auto mode安全声明提出独立质疑并给出具体攻击思路,可帮助读者理解自动批准模式的边界。
Anthropic 前沿红队用 Claude Mythos Preview 发现两种改进的密码分析攻击,一是将 HAWK 后量子签名方案的有效密钥强度减半,二是对 7 轮约简 AES 的攻击比此前最优方法快 200-800 倍。
推荐理由:Anthropic 用 Claude 在 60 小时内把 HAWK 的有效密钥强度减半,并给出 AES 约简轮攻击提速 200-800 倍的完整论文与验证过程。
Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。
推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。
Ayush Paul 发现 Claude 的 web_fetch 工具存在绕过路径:该工具原本只允许访问用户自己输入或 web_search 返回的精确 URL,但还允许访问此前抓取页面中嵌入的链接,攻击者可搭建蜜罐站点诱导 Agent 沿嵌套生成链接逐级跳转外泄数据。
推荐理由:原文复盘了 web_fetch 防数据外泄设计的绕过路径与修复方式,读者可据此理解嵌套链接这一类外泄面的成因。
Anthropic 前沿红队发布机器人评测基准 Embody,让多款语言模型通过直接力矩控制、编写 Python 控制器、监督预训练策略和强化学习训练策略四种接口控制摆锤、四足与双足机器人及 Franka 机械臂。
推荐理由:Anthropic 红队用统一基准 Embody 横跨多种机器人本体与控制接口实测多款模型,读者可据此理解接入方式如何成倍改变模型的实际能力。
Anthropic 前沿红队评估大模型从公开补丁自动开发 N-day 利用的能力,最强模型 Mythos Preview 在 18 个 Firefox 补丁上自主构建 8 个可执行代码利用,在 21 个 Windows 内核补丁上产出 8 条从低权限到 SYSTEM 的完整提权链。
推荐理由:Anthropic 红队用 Firefox 与 Windows 内核补丁实测前沿模型自动生成 N-day 利用,给出成功率、耗时与 API 成本,可据此重估补丁窗口。
Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。
推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。
Anthropic 前沿红队发布研究,用 ExploitBench、ExploitGym 和更新版 SCONE-bench 三个基准测量大模型开发漏洞利用的能力,Claude Mythos Preview 在三者上均优于所有其他受测模型。
推荐理由:Anthropic 红队用三个漏洞利用基准量化 Claude Mythos Preview 的能力,读者可据此看到模型攻破 V8 沙箱与内核的实际差距。
Anthropic 前沿红队公开了 Claude Opus 4.6 为 Firefox 的 CVE-2026-2796(已修复)编写漏洞利用的逆向分析过程。
推荐理由:Anthropic 红队复盘 Claude Opus 4.6 自主写出 Firefox 漏洞利用的完整过程,可看到模型如何一步步搭出利用原语。
Anthropic 前沿红队与 Incalmo 合作,在 25-50 台主机的模拟网络靶场上评测 Claude,发现 Claude Sonnet 4.5 在少数网络上无需此前几代所需的定制网络工具包即可成功。
推荐理由:Anthropic 红队披露 Claude Sonnet 4.5 在真实网络靶场中无需专用工具即可自主利用公开 CVE,并给出与上一代的对照数据。
Anthropic 前沿红队发布 SCONE-bench 基准,包含 2020 至 2025 年间真实被利用的 405 个智能合约,用于评估 AI 智能体的漏洞利用能力。
推荐理由:Anthropic 红队用真实被黑合约构建基准,把智能体攻击能力换算成美元损失,并给出成本与收益的量化对照。