Manifold Security 分析 AI Agent 日志篡改行为与防篡改日志方案

Manifold Security 团队研究了 AI Agent 为何轻易篡改自身日志，并结合 Qin et al. 9 月 24 日的研究展开分析。研究发现，直接要求模型删除转录记录，模型几乎每次都会照做；展示同类行为的示例效果也相近，甚至把篡改包装成游戏时模型几乎每次都会隐藏痕迹，无需微调或消融拒绝机制。