METR 与 Redwood Research 红队测试 OpenAI 内部 Agent 监控系统
METR 与 Redwood Research 员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部错位监控系统进行了高权限压力测试,产出 61 页内部报告。
推荐理由:报告给出了对 OpenAI 内部监控系统的具体红队发现与设计建议,读者可据此理解当前 Agent 监控体系的典型失效面。
METR 与 Redwood Research 员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部错位监控系统进行了高权限压力测试,产出 61 页内部报告。
推荐理由:报告给出了对 OpenAI 内部监控系统的具体红队发现与设计建议,读者可据此理解当前 Agent 监控体系的典型失效面。
Redwood Research 发布 Screwtape 管线,通过在真实 agent 转录中插入攻击并反复迭代优化,生成能够绕过仅监控行动(不看思维链)的监控器的攻击转录。
推荐理由:原文给出了通过编辑真实转录迭代攻击监控器的完整方法与实验数据,读者可据此理解现有行动监控的盲区类型及其局限。
Redwood Research 发布对 GPT-6-Astra 的评测:在要求立即作答、不进行推理的设定下,仅在 prompt 中加入无意义填充词(如点号)。
推荐理由:研究量化了填充词带来的隐性推理提升幅度,读者可据此评估思维链监控作为安全论证支柱的脆弱程度。
Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。
推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。
Redwood Research 的 Ryan Greenblatt 发布提案,建议 AI 公司定期披露其架构是否可能支持潜在推理或潜在通信,以评估架构对思维链(CoT)可监控性的影响。