跳到正文
  1. Redwood Research88

    METR 与 Redwood Research 红队测试 OpenAI 内部 Agent 监控系统

    METR 与 Redwood Research 员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部错位监控系统进行了高权限压力测试,产出 61 页内部报告。

    推荐理由:报告给出了对 OpenAI 内部监控系统的具体红队发现与设计建议,读者可据此理解当前 Agent 监控体系的典型失效面。

  1. Redwood Research84

    Redwood Research 发布 Screwtape:通过编辑真实转录对监控器进行红队测试

    Redwood Research 发布 Screwtape 管线,通过在真实 agent 转录中插入攻击并反复迭代优化,生成能够绕过仅监控行动(不看思维链)的监控器的攻击转录。

    推荐理由:原文给出了通过编辑真实转录迭代攻击监控器的完整方法与实验数据,读者可据此理解现有行动监控的盲区类型及其局限。

  1. Redwood Research80

    Redwood Research:CoT 可控性评测存在严重欠引出,优化提示词可将合规率提升 2-3 倍

    Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。

    推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。

已经到底了