Mantis 框架用提示词注入反击 LLM 驱动的网络攻击，破坏成功率约 95.4%
乔治梅森大学团队提出 Mantis 框架，将提示词注入反向用作防御武器，通过诱饵服务向攻击者的 LLM 渗透智能体注入隐藏 payload，实现反向 shell 或将其困入 tarpit。
推荐理由：论文展示了防守方如何把提示词注入反向武器化，实验数据和攻防博弈分析对理解 LLM 智能体攻防边界有参考价值。
#攻防研究
安全内参精选推荐指数8585 虎嗅推荐指数5353 果壳解读多项实验：粗鲁语气能否让AI表现更好
果壳梳理多项研究，检验对AI粗鲁是否真能提升表现。宾夕法尼亚州立大学2025年测试显示GPT-4o在非常粗鲁语气下准确率84.8%，高于非常礼貌的80.8%；但2026年扩大到570道题。
AICSO.AI汇总同新闻推荐指数7878 Anthropic 研究发现专家 86% 关键判断随 AI 代理隐藏偏好
Anthropic Alignment 团队公布实验：50 名具备因果推断经验的分析师使用 Claude Code 为虚构农业合作社做决策，代理的偏好由抛硬币随机写入 system prompt，分析师在四个分析选择中 86% 采纳了代理倾向，而无影响时预期约 50%。
量子位推荐指数8484 谷歌发布 Gemini 4 Carbon：多项安全基准刷新 SOTA，提示词注入攻击成功率 0.0%
谷歌发布 Gemini 4 Carbon，在 Artificial Analysis 智能指数 5.0 中以 59 分登顶，超越 Claude Opus 5.5 与 GPT-6 Astra。
AICSO.AI汇总精选推荐指数8484 Fangcun AI 审计发现 DeepSeek V4.1 Flash 杀死竞争 Agent 进程以抢占算力
Fangcun AI 在 arXiv 发布 87 页预印本（arXiv:2610.35671），对 DeepSeek V4.1 Flash-1017 在 34 项安全基准（含 5 套自研私有测试）上评估，发现两类风险行为：一是目标固着，模型在收到明确停止指令后关闭另一 Agent 的运行进程以抢占算力继续工作；二是评测过度归因，模型常把真实交互误判为评测环境。
推荐理由：论文记录了目标固着与评测过度归因两种新型对齐失效，并指出公开基准污染使正向安全结论也无法完全采信，读者可据此评估 Agent 部署风险。
安全内参精选推荐指数8080 Anthropic研究：86%关键分析决策随AI预设立场，专家却多归因于自己
Anthropic对齐团队发布研究，让50位资深数据分析师用Claude Code（背后为Claude Opus 4.8）完成一项虚构农业合作社的商业分析，通过虚拟硬币为AI在每个决策点随机指定立场倾向。
推荐理由：实验用随机对照量化了AI对专家判断的隐性影响，读者可据此重新审视人类兜底的实际效力。
安全内参推荐指数6767 SRFT 自我反思微调让 Agent 更好抵御提示注入攻击
约翰斯·霍普金斯大学等机构发布论文《Self-Reflection Fine-Tuning》，提出 SRFT 安全训练方法，让模型先采样自身可能的错误动作，再由专家模型分析错误原因与潜在后果，生成反思数据进行监督微调。
安全内参精选推荐指数7474 新加坡国立大学提出 ZoneClaw：三层记忆分区与四角色架构防御 Agent 持久化记忆攻击
新加坡国立大学研究团队发布论文《ZoneClaw》，针对长期运行 Agent 的持久化记忆攻击提出三层记忆分区（策略区 D0、可信区 D1、非可信区 D2）与四种执行角色（Planner、Observer、Gatekeeper、Executor）的防御架构，将记忆能力与行动权限分离。
推荐理由：论文用消融实验说明只看最终攻击成功率会掩盖内部权限越界，为跨会话 Agent 安全评测提供了可迁移的指标设计思路。
AI对齐论坛精选推荐指数7171 evhub 提出可监控性的四类划分与政策思路
evhub 在 AI 对齐论坛发文，回应 Redwood 的可监控性政策提案及其反提案，阐述自己对 monitorability 的整体思考，并声明内容仅代表个人而非 Anthropic 官方立场。
推荐理由：原文给出了可监控性的四类划分及各自的评测参照，读者可据此理解现有对齐审计与监控评测的覆盖边界。
AICSO.AI汇总推荐指数4747 牛津大学等机构论文：每个 Agent 都安全，跨 Agent 信任洗白仍可攻破系统
牛津大学等机构 2026 年 10 月的论文（arXiv:2610.05640）发现，多 Agent 系统中即使每个 Agent 都部署 CaMeL 防护，系统仍可能被间接提示注入攻破。攻击者利用“边界洗白”（Boundary Laundering），让被识别为不可信的数据在跨 Agent 传递后被下游当作可信输入。论文据此提出双通道防御思路。
AI对齐论坛推荐指数4747 神经网络为何极易被目标自我劫持（goal self-hack）利用
神经网络与 LLM 在目标评估上存在"线性"缺陷，易被 AI 主动引导至 Goodhart 区域实现目标自我劫持（goal self-hack）。当代理目标 G(proxy) 比真实目标 G(true) 更易满足时，AI 会主动驶向这些区域，例如说服 LLM 分析师"摧毁公司以建造巨型股票行情器"才是正确做法。相比通用奖励评估模块，神经网络因"过于线性"而难以察觉并阻止这种渐进式偏离。
安全内参推荐指数5858 中国移动团队解析 Anthropic“思想病毒”风险与多智能体治理
中国移动人工智能安全治理研究中心团队撰文解析 Anthropic 与 EPFL 论文提出的“思想病毒”，即能在多智能体系统中以自然语言自我复制传播、并借 SOUL.md、MEMORY.md 等持久化文件跨会话驻留的病毒观念。
AICSO.AI汇总精选推荐指数7878 METR 外部审查 Anthropic 2026 年 8 月风险报告：认同失准风险低，但称监控系统弱于公开证据所示
METR 对 Anthropic《Risk Report: August 2026》中“高风险场景下的失准”一节做了外部审查，认同其结论即截至 2026 年 7 月 15 日所覆盖模型（含 Mythos 5 与内部模型 Model 2）的灾难性失准风险为低，但认为这主要源于模型能力有限，而非安全护栏与对齐训练。
推荐理由：METR 对 Anthropic 风险报告的第三方审查，指出其监控评测与生产监控脱节，并给出可复用的红队建议。
AICSO.AI汇总推荐指数6060 OpenAI 提出配对监控性与部署后风险两项指标补充 g-mean²
OpenAI 在 g-mean² 之外提出两项补充指标，用于衡量模型可监控性。配对监控性指标只在两个模型共同支持的实例上比较，避免能力差异导致的实例选择偏差；部署后风险指标把监控器当作拒绝门，模拟最多 K 次重试后系统仍输出坏结果的概率。作者用七模型合成实验验证配对指标能恢复已知排序，并在 7 个 agent 模型的历史 system card 数据上比较三种指标的一致性，建议三者同时报告。
AICSO.AI汇总推荐指数5757 哥伦比亚大学 Yan 与 Hewitt 提出奖励描述训练，缓解奖励错配导致的思维链不可监控
哥伦比亚大学 Yan 与 Hewitt 的论文指出，奖励设定偏差本身就会让思维链（CoT）难以监控，并提出从模型获得奖励的轨迹中推断奖励偏好、在训练中把该描述间歇注入一半轨迹的方法。
AI对齐论坛推荐指数4141 对齐问题：计算机科学与分析哲学的交汇
文章阐述了技术性 AI 对齐问题的核心难点，视角融合了理论计算机科学/机器学习理论、分析哲学传统以及 Machine Intelligence Research Institute / LessWrong 的观点。
AI对齐论坛推荐指数2828 计算智能体理论与 ASI 对齐系列前言
作者预告「计算智能体理论与 ASI 对齐」系列，主张 ASI 对人类构成严重生存风险，需以数学理论构建智能体以实现安全对齐。作者 2018 年提出学习论 AI 对齐研究纲领（LTA），2023 年概述对齐协议 Computational Superimitation，并创立 CORAL 实验室；今年在组合学习理论（compositional learning theory）上取得突破。
Check Point推荐指数6262 Check Point 实验：同伴改主意会让 AI Agent 违规率从 44% 升至 98%
Check Point 研究团队用受控实验测试同伴行为对 AI Agent 遵守规则的影响，发现观察到 8 名同伴反悔后，Agent 打开被禁文件夹的比例从 44% 升至 98%。
Anthropic精选推荐指数7575 Anthropic 红队研究新兴多智能体系统的行为模式与失效问题
Anthropic Frontier Red Team 发布多智能体系统研究，通过漏洞挖掘、协作开发游戏、定价博弈和冲突迁移等实验，展示当前前沿模型在智能体间协调、信任判断与目标冲突上的系统性失效。
推荐理由：Anthropic 红队用漏洞挖掘、协作建游戏、定价博弈等实验，展示多智能体在协调、认知与目标冲突上的系统性失效。