arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 30 条 · 更新于 15:38
安全paper推荐指数6262 arXiv推荐指数6767 arXiv 论文：基于惊讶度的持续学习易吸收谎言，证据门控可缓解
论文研究 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B、Llama-3.2-3B）从真假声明流中持续学习时的问题，发现基于惊讶度的筛选规则会吸收几乎全部植入的谎言，吸收率接近同等预算下的随机选择。
arXiv推荐指数4747 基于潜在坐标符号钳位的抗攻击多比特图像水印框架
一项 arXiv 研究提出训练无关的图像水印框架，利用扩散模型潜在空间的超完备性向任意图像嵌入 32–128 比特多比特载荷，适用于自然图像与 AI 生成图像。
arXiv推荐指数4848 arXiv 论文 "From Grind to Grasp"：以工作量与信息约束形式化智能体的 grasp/grind 框架，并警示涌现的 agent society
arXiv 论文 "From Grind to Grasp"（arXiv:2610.38728，cs.AI / cs.MA）提出一个形式化框架，在工作量与信息双重约束下比较成就，定义 grasp 为固定信息额度下跨工作预算的表现，并将其用于递归自我改进的判据与集体智能分析。论文警告不应让涌现的 agent society 掌握社会协调权，因其可能将工作不断导向维持自身存续与目标。
arXiv推荐指数6868 arXiv论文：CoT依赖度随模型规模上升并饱和，后训练不改变该依赖
论文在合成box-swap任务上用精确真值测量模型对自身思维链（CoT）的依赖度：替换CoT中一步为错误但合法的状态，检查答案是否随之改变。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
arXiv推荐指数4747 多关系图学习中的信任陷阱：操纵成本、暴露度与关系选择
arXiv 预印本（2610.37239）证明，当部分节点在某关系上孤立且攻击者无法负担开启该关系的代价时，度门控严格优于任何关系选择或重加权方案；基于单位成本暴露度的加固策略在 16 例中有 15 例能选出最能提升陷阱阈值的关系。在六张图的 90 个设置中，58 个设置下干净数据训练的图检测器表现低于无图基线；在缺乏成本信息时，安全选择是弃用该关系。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数5656 arXiv论文：LLM智能体网络中的合作行为追踪研究
论文以迭代囚徒困境（IPD）为框架，研究开源权重LLM从双人互动扩展到同质与异质网络时，个体合作是否转化为集体合作。研究发现合作行为对模型构成和细微语言变化高度敏感：能与相同模型合作的模型在混合群体中可能转向背叛；一个简单的不确定性提示可增减合作、重新分配成本，并影响数跳之外未接触该提示的智能体；甚至调换动作标签顺序也会显著改变行为，不确定性框架有时会放大这种敏感性。
arXiv推荐指数4747 Natural Language Autoencoders：识别不等于解释——NLA 重建成功标准无法验证解释忠实性
arXiv 论文指出，Natural Language Autoencoders（NLA）以"verbalizer 将激活转为英文解释、reconstructor 再将解释还原为激活"的往返重建成功作为解释有效判据，但该判据只衡量信息是否足以识别激活，并不检验解释的描述忠实性。
arXiv推荐指数6262 arXiv论文实证研究编码智能体CoT中的错误断言与错误补丁的因果关系
论文对SWE-bench Pro上四个开源推理模型的400条轨迹做实证研究，从思维链（CoT）中抽取原子断言并核验，发现任务相关推理仅覆盖18.5%的CoT token，每条轨迹平均产生191个原子断言，其中至少9.6%存在错误。
arXiv推荐指数5656 SpectralCanary：用低频痕迹审计 T2I 模型的数据集使用
SpectralCanary 通过平滑低通掩码将固定金丝雀图像混入数据集每张图片，caption 不变，无需辅助生成或逐图优化，轻量验证器可检测可疑模型输出中的转移信号。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
arXiv推荐指数6060 研究显示辩论能提升人类判断准确率，但弱AI模型无法自我纠错
arXiv 论文《Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not》研究 AI Safety via Debate 协议能否让人类与 LLM 监督者在存在先验信念的情况下接近真相。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。