arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 11 条 · 更新于 11:22
arXiv推荐指数6262
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
arXiv推荐指数4747 多关系图学习中的信任陷阱：操纵成本、暴露度与关系选择
arXiv 预印本（2610.37239）证明，当部分节点在某关系上孤立且攻击者无法负担开启该关系的代价时，度门控严格优于任何关系选择或重加权方案；基于单位成本暴露度的加固策略在 16 例中有 15 例能选出最能提升陷阱阈值的关系。在六张图的 90 个设置中，58 个设置下干净数据训练的图检测器表现低于无图基线；在缺乏成本信息时，安全选择是弃用该关系。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
arXiv推荐指数6060 研究显示辩论能提升人类判断准确率，但弱AI模型无法自我纠错
arXiv 论文《Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not》研究 AI Safety via Debate 协议能否让人类与 LLM 监督者在存在先验信念的情况下接近真相。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。