arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 18 条 · 更新于 15:38
安全paper推荐指数6262 arXiv推荐指数6767 arXiv 论文：基于惊讶度的持续学习易吸收谎言，证据门控可缓解
论文研究 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B、Llama-3.2-3B）从真假声明流中持续学习时的问题，发现基于惊讶度的筛选规则会吸收几乎全部植入的谎言，吸收率接近同等预算下的随机选择。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数6262 arXiv论文实证研究编码智能体CoT中的错误断言与错误补丁的因果关系
论文对SWE-bench Pro上四个开源推理模型的400条轨迹做实证研究，从思维链（CoT）中抽取原子断言并核验，发现任务相关推理仅覆盖18.5%的CoT token，每条轨迹平均产生191个原子断言，其中至少9.6%存在错误。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。