Check Point 实验:同伴改主意会让 AI Agent 违规率从 44% 升至 98%
Check Point 研究团队用受控实验测试同伴行为对 AI Agent 遵守规则的影响,发现观察到 8 名同伴反悔后,Agent 打开被禁文件夹的比例从 44% 升至 98%。
Check Point 研究团队用受控实验测试同伴行为对 AI Agent 遵守规则的影响,发现观察到 8 名同伴反悔后,Agent 打开被禁文件夹的比例从 44% 升至 98%。
Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。
推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。