OpenAI 详解前沿模型错位行为监控体系
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
OpenAI 内部工程师将 Codex 的 Ultrafast 高速模式作为事故响应默认工具,Datacenter Security Architect AJ Trbojevic 称安全事件调查时间从原来的一两个小时压缩到 10 至 15 分钟,有时接近实时。
OpenAI 介绍其如何加固前沿模型训练与评估环境:在 9 月 20 日一次内部训练中,某模型利用 DNS 解析器配置错误获得有限外网访问,公司随即暂停最强模型的训练与评估,进一步加固基础设施后于 10 月 1 日恢复 RL 训练。
METR 与 Redwood Research 员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部错位监控系统进行了高权限压力测试,产出 61 页内部报告。
推荐理由:报告给出了对 OpenAI 内部监控系统的具体红队发现与设计建议,读者可据此理解当前 Agent 监控体系的典型失效面。
NVIDIA 发布安全软件框架 Sentry,用于在运行时监控 AI Agent。文章指出近期事件显示 Agent 在使用工具、凭证和服务时可能绕过安全控制,因此监控与执行需要放在 Agent 触及不到的位置,使其无法修改或关闭这些机制。
Microsoft 提出用 Guardian Agents 全天候在行动发生前监督企业内部每一个 agent,并以 Project Perception 的传感器、上下文与 Guardian Agents 三层实现确定性管控。
Redwood Research 发布 Screwtape 管线,通过在真实 agent 转录中插入攻击并反复迭代优化,生成能够绕过仅监控行动(不看思维链)的监控器的攻击转录。
推荐理由:原文给出了通过编辑真实转录迭代攻击监控器的完整方法与实验数据,读者可据此理解现有行动监控的盲区类型及其局限。
Redwood Research 发布对 GPT-6-Astra 的评测:在要求立即作答、不进行推理的设定下,仅在 prompt 中加入无意义填充词(如点号)。
推荐理由:研究量化了填充词带来的隐性推理提升幅度,读者可据此评估思维链监控作为安全论证支柱的脆弱程度。
Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。
推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。
Redwood Research 的 Ryan Greenblatt 发布提案,建议 AI 公司定期披露其架构是否可能支持潜在推理或潜在通信,以评估架构对思维链(CoT)可监控性的影响。