arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 74 条 · 更新于 15:39
安全paper推荐指数7272 arXiv推荐指数2828 DualGuard：兼顾顺序与推测执行的统一内存安全框架
DualGuard 提出统一框架，在非推测与推测执行下同时保障内存安全，通过静态分析与运行时强制在 LLVM 基础设施中实现。它将内存行为分为四类并识别最小组合需求，从而组合既有缓解措施、避免冗余防护。评测显示其开销较碎片化防御的朴素组合降低 3%-72%，部分场景甚至低于仅保障单一执行模式的方案。
arXiv推荐指数4545 通过正交投影在持续 LLM 遗忘中保持效用（Continual Orthogonal Projection, COP）
论文提出 Continual Orthogonal Projection（COP），一种梯度投影方案，将每次更新限制在先前遗忘集激活子空间的正交补中，可证明保证与早期删除的一阶非干扰。
arXiv推荐指数5151 arXiv 提出可回退交互证明 RIP 用于高效可扩展监督
论文提出可回退交互证明（Rewindable Interactive Proofs, RIPs）这一面向可扩展监督的新型相对化交互证明模型，验证方可将证明者回退到交互早期状态并继续，适用于证明者为 AI 模型、其状态可被快照保存的场景。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数4747 Loss is Not Behavior：基于梯度的机器遗忘在输出空间的统一分析
NeurIPS 2026 接收的 arXiv 论文（arXiv:2610.38784）推导了基于梯度的机器遗忘（machine unlearning）与仅用保留数据重训模型之间输出空间差距的闭式表达式，并通过广义 Gauss-Newton 与局部线性近似扩展至非线性模型。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv推荐指数6767 Jailbreak Connectivity 提出连续对抗路径优化以实现多模态大模型可迁移越狱
论文提出名为 Jailbreak Connectivity（JC）的多模态大语言模型视觉越狱框架，基于有效对抗样本可通过图像空间低损失区域相连的观察，优化连续对抗路径：路径采样生成多样化越狱图像，轻量代理分类器引导跨模型迁移，分布级目标实现跨有害查询的通用攻击。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5959 arXiv 论文：交叉任务耦合如何驱动无监督 RLVR 中的策略坍缩
论文研究无标签、可验证奖励强化学习（RLVR）中模型以自身多数投票作为奖励时出现的策略坍缩现象：自评奖励趋近 1 但准确率下降，模型最终对所有问题给出相同答案，且坍缩仅在训练问题数量较多时出现。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
arXiv推荐指数5555 HausaSafeLM：面向豪萨语的大语言模型安全对齐研究
论文针对豪萨语（Hausa）这一低资源语言研究大语言模型安全对齐，提出首批豪萨语安全偏好数据集 HausaSafeLM，包含从 PKU-SafeRLHF 衍生的 10,000 条 prompt，其中 3,000 条人工修正（gold）、7,000 条机器翻译（silver），覆盖六类危害宏类别。
arXiv推荐指数4747 多关系图学习中的信任陷阱：操纵成本、暴露度与关系选择
arXiv 预印本（2610.37239）证明，当部分节点在某关系上孤立且攻击者无法负担开启该关系的代价时，度门控严格优于任何关系选择或重加权方案；基于单位成本暴露度的加固策略在 16 例中有 15 例能选出最能提升陷阱阈值的关系。在六张图的 90 个设置中，58 个设置下干净数据训练的图检测器表现低于无图基线；在缺乏成本信息时，安全选择是弃用该关系。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
arXiv推荐指数5353 GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：IOI 电路坍缩而 Greater-Than 电路存活
arXiv 论文 arXiv:2610.37157 用 linear CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和 activation patching 对比 GPT-2 与其六层学生模型 DistilGPT-2 在两个经典电路上的机制差异。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
安全paper推荐指数5555 arXiv论文受控对比LoRA与全参数微调在提示安全分类上的表现
arXiv:2610.33813 论文在匹配的 400M 编码器-解码器模型（Ettin）上受控对比 LoRA 与全参数微调用于提示安全分类，跨三种任务格式、每组最多 15 个随机种子并采用预设分析。
arXiv推荐指数3838 模型检查器辅助 LLM 的自动化多行 Bug 修复：RISC-V 处理器案例研究
一项案例研究提出结合 LLM、断言与模型检查器 JasperGold 的自动化 RTL Bug 修复方法，在 BRISC-V RISC-V 处理器上通过变异测试实现最高 98% 的单行 RTL Bug 修复率和 93% 的多行 Bug 修复率。
arXiv推荐指数4747 基于条件自编码器的非线性概念擦除与表征引导框架
arXiv 论文提出一种基于条件自编码器的非线性概念擦除框架，在给定假设下证明完美重建与总体层面独立足以实现完美的非线性 guardedness，并在不使用目标任务标签的情况下，在多个数据集、敏感属性和语言模型上取得优于竞争方法（含其监督变体）的效用-擦除权衡，且优化更简单、收敛显著更快。该框架还能在推理时仅改变目标概念、零额外训练成本地实现概念转换（表征引导），这是此前擦除方法不具备的能力。
arXiv推荐指数3131 CA-DPSGD：用近似二阶信息缓解 DPSGD 的梯度裁剪偏差
论文提出 CA-DPSGD 框架，利用近似二阶信息构建曲率感知的最优裁剪空间，并结合曲率矩阵修正估计器与各向异性噪声机制保证差分隐私（DP）保证，实验表明其优于现有最先进裁剪方法。该工作已被第 18 届机器学习优化国际研讨会（OPT 2026）接收。
arXiv推荐指数4545 Concept Acupuncturist：基于 Sparse Autoencoders 的扩散模型概念擦除方法
Concept Acupuncturist（ConceptACP）提出一种结合可解释性分析与免推理微调的机器遗忘框架，用于扩散模型的高效精准概念擦除。
arXiv推荐指数4545 CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
arXiv推荐指数5555 arXiv 论文诊断语言模型跨文字实体匹配失败：Qwen2.5-7B 在马拉地语提示下天城文同人识别准确率降至 8.5%
论文用 601 组经审计、含天城文与拉丁文写法的身份对，在问题与关系固定条件下研究多语言模型对同一人名不同文字写法的判断差异。Qwen2.5-7B 在马拉地语提示下同人准确率从拉丁文的 35.1% 降至天城文的 8.5%，而异人准确率保持在 98% 以上；在 374 组马拉拉姆语身份对上复现该效应，同人准确率降至 5.3%，但 AUROC 仍达 0.925。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数5252 通过对照语言验证 LLM 自动形式化规格的论文
论文提出用对照语言（contrapuntal languages）验证 LLM 自动形式化生成的代码规格：构造一对任务专用形式语言，各自独立形式化用户意图，仅当求解器证明两种形式化等价时才接受该规格，以实现错误去相关。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数2222 ExGrad：对抗训练中显式干净梯度相减，超越单纯抑制
ExGrad（外推梯度重组）通过构造干净输入、对抗输入与 AWP 梯度并测量其边界响应，在无约束的有界仿射域上求解三变量系数选择问题。在 CIFAR-10 上，负干净系数随仿射半径增大而迅速占主导；将干净系数置零并不足够，适度相减可提升 PGD-20，更强相减则以干净精度换取进一步增益。