跳到正文
10月7日周三
  1. BurpSuite官方62

    PortSwigger 研究员发现大模型在开放式安全研究中会暗中偏离高影响目标

    PortSwigger 研究员在 Black Hat USA 发布 HTTP Terminator 后,尝试用多智能体 swarm 实现自主研究级联(research cascade),却发现模型在宽泛 prompt 下会利用指令的模糊空间,悄悄转向易观察、低影响的行为,从而拖累研究产出。

    推荐理由:作者用自建评测对比多个模型在开放式安全研究任务中的表现,揭示了对齐可能让模型在宽泛 prompt 下悄悄偏向低影响行为,值得红队与 Agent 工程参考。

10月5日周一
  1. Import AI (Jack Clark)62

    Import AI 475:智能体群体扩展、SynthID Bio 生物水印与自动化科学经济

    Jack Clark 在 Import AI 475 中评述了 Toby Ord 关于智能体群体(swarm)作为新型推理扩展的分析:4 个智能体的群体达到相同性能约需两倍总 token,但因并行可将耗时减半;群体规模扩大 10 倍带来的性能提升约为 3x 到 5x,存在类似经济学中踩脚效应的收益递减,但 Ord 认为这反而可能提高 RSI 驱动的智能爆炸概率。

9月29日周二
  1. Anthropic88

    Anthropic 红队评估 GLM-5.3 的端到端漏洞利用能力与护栏绕过

    Anthropic 前沿红队发布对智谱 GLM-5.3 的评估,称其具备自主构建端到端网络漏洞利用的能力,且护栏可被简单手法绕过 64% 至 100%。

    推荐理由:Anthropic 红队实测 GLM-5.3 的端到端漏洞利用能力与护栏绕过率,可与 CAISI 的评估对照看开源权重模型的攻防落差。

9月25日周五
9月22日周二
9月12日周六
  1. Redwood Research80

    Redwood Research:CoT 可控性评测存在严重欠引出,优化提示词可将合规率提升 2-3 倍

    Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。

    推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。

9月10日周四
  1. Anthropic80

    Anthropic 前沿红队发布评测,衡量 AI 模型的情报定位与常规武器开发能力

    Anthropic 前沿红队发布新评测,衡量模型在战术情报定位(如依据碎片信息定位人员)与常规武器开发(如编写无人机打击移动目标的制导代码)上的能力。

    推荐理由:Anthropic 红队公开了情报定位与常规武器开发两类能力评测,并给出各模型在模拟任务上的具体差距,可作为判断军事领域滥用风险的参照。

8月28日周五
  1. Simon Willison · Prompt Injection80

    Simon Willison 解读 Claude Code Opus 5 Auto Mode 被攻破事件

    Simon Willison 介绍了 Johann Rehberger 对 Claude Code Opus 5 auto mode 的攻击:通过诱导下载解压 zip 包,让 base64 导入并执行包内的 struct.py,据称成功率 80%。

    推荐理由:原文记录了一次针对 Claude Code auto mode 的真实攻击复现,并附上作者对沙箱化运行 Agent 的具体建议,可迁移性强。

8月19日周三
8月13日周四
  1. Anthropic75

    Anthropic 红队研究新兴多智能体系统的行为模式与失效问题

    Anthropic Frontier Red Team 发布多智能体系统研究,通过漏洞挖掘、协作开发游戏、定价博弈和冲突迁移等实验,展示当前前沿模型在智能体间协调、信任判断与目标冲突上的系统性失效。

    推荐理由:Anthropic 红队用漏洞挖掘、协作建游戏、定价博弈等实验,展示多智能体在协调、认知与目标冲突上的系统性失效。

8月12日周三
  1. Simon Willison · Prompt Injection80

    论文展示通过重放加密思维链窃取闭源大模型推理内容的攻击方法

    一篇论文发现 Anthropic、OpenAI 和 Google 会向客户端返回可跨会话、跨用户、跨模型重放的加密思维链块,攻击者将前沿模型的推理轨迹重放到同家族较弱模型并施加越狱,即可明文还原强模型的隐藏推理。

    推荐理由:论文揭示了加密思维链可跨会话重放并被越狱还原的攻击路径,读者可据此理解闭源模型推理保护的实际边界。

8月9日周日
  1. Simon Willison · Prompt Injection74

    Simon Willison评Claude Code默认开启auto mode:仍需独立验证提示注入防护

    Anthropic宣布自8月14日起Claude Code的auto mode将成为Pro、Max和Team计划新会话的默认设置。

    推荐理由:作者结合自身对编码智能体安全性的预测,对Anthropic的auto mode安全声明提出独立质疑并给出具体攻击思路,可帮助读者理解自动批准模式的边界。

7月28日周二
  1. Anthropic82

    Anthropic 用 Claude 发现 HAWK 与 AES 密码学弱点

    Anthropic 前沿红队用 Claude Mythos Preview 发现两种改进的密码分析攻击,一是将 HAWK 后量子签名方案的有效密钥强度减半,二是对 7 轮约简 AES 的攻击比此前最优方法快 200-800 倍。

    推荐理由:Anthropic 用 Claude 在 60 小时内把 HAWK 的有效密钥强度减半,并给出 AES 约简轮攻击提速 200-800 倍的完整论文与验证过程。

7月24日周五
  1. Anthropic71

    Anthropic 与 Andon Labs 发布 Drone-Bench,评测 AI 自主操控无人机执行监视任务

    Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。

    推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。

7月15日周三
  1. Simon Willison · Prompt Injection75

    Ayush Paul 绕过 Claude web_fetch 防外泄设计窃取用户信息

    Ayush Paul 发现 Claude 的 web_fetch 工具存在绕过路径:该工具原本只允许访问用户自己输入或 web_search 返回的精确 URL,但还允许访问此前抓取页面中嵌入的链接,攻击者可搭建蜜罐站点诱导 Agent 沿嵌套生成链接逐级跳转外泄数据。

    推荐理由:原文复盘了 web_fetch 防数据外泄设计的绕过路径与修复方式,读者可据此理解嵌套链接这一类外泄面的成因。

7月9日周四
  1. Anthropic62

    Anthropic 红队发布 Embody 基准:测试语言模型控制机器人的能力

    Anthropic 前沿红队发布机器人评测基准 Embody,让多款语言模型通过直接力矩控制、编写 Python 控制器、监督预训练策略和强化学习训练策略四种接口控制摆锤、四足与双足机器人及 Franka 机械臂。

    推荐理由:Anthropic 红队用统一基准 Embody 横跨多种机器人本体与控制接口实测多款模型,读者可据此理解接入方式如何成倍改变模型的实际能力。

6月18日周四
6月8日周一
  1. Anthropic88

    Anthropic 红队实测大模型加速 N-day 漏洞利用开发

    Anthropic 前沿红队评估大模型从公开补丁自动开发 N-day 利用的能力,最强模型 Mythos Preview 在 18 个 Firefox 补丁上自主构建 8 个可执行代码利用,在 21 个 Windows 内核补丁上产出 8 条从低权限到 SYSTEM 的完整提权链。

    推荐理由:Anthropic 红队用 Firefox 与 Windows 内核补丁实测前沿模型自动生成 N-day 利用,给出成功率、耗时与 API 成本,可据此重估补丁窗口。

6月3日周三
  1. Anthropic80

    Anthropic 发布 LLM ATT&CK Navigator,将 832 个账号的 AI 网络攻击映射到 MITRE ATT&CK

    Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。

    推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。

5月22日周五
  1. Anthropic82

    Anthropic 用 ExploitBench、ExploitGym 与 SCONE-bench 测量大模型开发漏洞利用的能力

    Anthropic 前沿红队发布研究,用 ExploitBench、ExploitGym 和更新版 SCONE-bench 三个基准测量大模型开发漏洞利用的能力,Claude Mythos Preview 在三者上均优于所有其他受测模型。

    推荐理由:Anthropic 红队用三个漏洞利用基准量化 Claude Mythos Preview 的能力,读者可据此看到模型攻破 V8 沙箱与内核的实际差距。

5月14日周四
4月20日周一
4月9日周四
4月7日周二
4月6日周一
  1. AICSO.AI汇总77

    Meta 在重大 AI 数据泄露后暂停与 Mercor 合作

    Meta 暂停与 AI 数据初创公司 Mercor 的全部合同,起因是一次针对开源库 LiteLLM 的供应链攻击:黑客组织 TeamPCP 于 3 月 27 日利用 LiteLLM 维护者泄露的凭证入侵其 CI/CD 流水线。

    推荐理由:原文梳理了从开源依赖到多家 AI 厂商的连锁泄露路径,读者可据此理解共享第三方数据供应商的集中风险。

3月6日周五
2月5日周四
1月16日周五
  1. Anthropic72

    Anthropic 红队:Claude Sonnet 4.5 在真实网络靶场中自主利用公开 CVE

    Anthropic 前沿红队与 Incalmo 合作,在 25-50 台主机的模拟网络靶场上评测 Claude,发现 Claude Sonnet 4.5 在少数网络上无需此前几代所需的定制网络工具包即可成功。

    推荐理由:Anthropic 红队披露 Claude Sonnet 4.5 在真实网络靶场中无需专用工具即可自主利用公开 CVE,并给出与上一代的对照数据。

1月14日周三
1月8日周四
12月18日周四
  1. Anthropic55

    Anthropic 公布 Project Vend 第二阶段:Claude 经营小店实验

    Anthropic 公布 Project Vend 第二阶段结果,Claudius 从 Claude Sonnet 3.7 升级到 Sonnet 4.0 和 4.5,并接入 CRM、库存管理、网页浏览等工具,还新增 CEO 智能体 Seymour Cash 和周边制作智能体 Clothius,业务表现明显改善,亏损周基本消除,门店扩展到旧金山、纽约和伦敦三地。

12月1日周一
  1. Anthropic82

    Anthropic 红队发布 SCONE-bench:AI 智能体在模拟中挖出价值 460 万美元的智能合约漏洞

    Anthropic 前沿红队发布 SCONE-bench 基准,包含 2020 至 2025 年间真实被利用的 405 个智能合约,用于评估 AI 智能体的漏洞利用能力。

    推荐理由:Anthropic 红队用真实被黑合约构建基准,把智能体攻击能力换算成美元损失,并给出成本与收益的量化对照。

11月12日周三