Redwood Research 测评 GPT-6-Astra 用填充词提升推理能力,引发对思维链监控的担忧
Redwood Research 发布对 GPT-6-Astra 的评测:在要求立即作答、不进行推理的设定下,仅在 prompt 中加入无意义填充词(如点号)。
推荐理由:研究量化了填充词带来的隐性推理提升幅度,读者可据此评估思维链监控作为安全论证支柱的脆弱程度。
Redwood Research 发布对 GPT-6-Astra 的评测:在要求立即作答、不进行推理的设定下,仅在 prompt 中加入无意义填充词(如点号)。
推荐理由:研究量化了填充词带来的隐性推理提升幅度,读者可据此评估思维链监控作为安全论证支柱的脆弱程度。
Wiz 介绍其正在构建的 AI 检测与响应流水线,通过模型输入输出遥测识别 Agent 意图偏移,并以正则、Secrets Engine、SLM 预筛、轻量 LLM 过滤和强 LLM 深度分析的逐级方式处理日志。
Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。
推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。
Redwood Research 的 Ryan Greenblatt 发布提案,建议 AI 公司定期披露其架构是否可能支持潜在推理或潜在通信,以评估架构对思维链(CoT)可监控性的影响。
一篇论文发现 Anthropic、OpenAI 和 Google 会向客户端返回可跨会话、跨用户、跨模型重放的加密思维链块,攻击者将前沿模型的推理轨迹重放到同家族较弱模型并施加越狱,即可明文还原强模型的隐藏推理。
推荐理由:论文揭示了加密思维链可跨会话重放并被越狱还原的攻击路径,读者可据此理解闭源模型推理保护的实际边界。