通过正交投影在持续 LLM 遗忘中保持效用（Continual Orthogonal Projection, COP）
论文提出 Continual Orthogonal Projection（COP），一种梯度投影方案，将每次更新限制在先前遗忘集激活子空间的正交补中，可证明保证与早期删除的一阶非干扰。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 33 条 · 更新于 15:39
arXiv推荐指数4545 arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
arXiv推荐指数6767 Jailbreak Connectivity 提出连续对抗路径优化以实现多模态大模型可迁移越狱
论文提出名为 Jailbreak Connectivity（JC）的多模态大语言模型视觉越狱框架，基于有效对抗样本可通过图像空间低损失区域相连的观察，优化连续对抗路径：路径采样生成多样化越狱图像，轻量代理分类器引导跨模型迁移，分布级目标实现跨有害查询的通用攻击。
arXiv推荐指数5959 arXiv 论文：交叉任务耦合如何驱动无监督 RLVR 中的策略坍缩
论文研究无标签、可验证奖励强化学习（RLVR）中模型以自身多数投票作为奖励时出现的策略坍缩现象：自评奖励趋近 1 但准确率下降，模型最终对所有问题给出相同答案，且坍缩仅在训练问题数量较多时出现。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
arXiv推荐指数5555 HausaSafeLM：面向豪萨语的大语言模型安全对齐研究
论文针对豪萨语（Hausa）这一低资源语言研究大语言模型安全对齐，提出首批豪萨语安全偏好数据集 HausaSafeLM，包含从 PKU-SafeRLHF 衍生的 10,000 条 prompt，其中 3,000 条人工修正（gold）、7,000 条机器翻译（silver），覆盖六类危害宏类别。
arXiv推荐指数4747 多关系图学习中的信任陷阱：操纵成本、暴露度与关系选择
arXiv 预印本（2610.37239）证明，当部分节点在某关系上孤立且攻击者无法负担开启该关系的代价时，度门控严格优于任何关系选择或重加权方案；基于单位成本暴露度的加固策略在 16 例中有 15 例能选出最能提升陷阱阈值的关系。在六张图的 90 个设置中，58 个设置下干净数据训练的图检测器表现低于无图基线；在缺乏成本信息时，安全选择是弃用该关系。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
安全paper推荐指数5555 arXiv论文受控对比LoRA与全参数微调在提示安全分类上的表现
arXiv:2610.33813 论文在匹配的 400M 编码器-解码器模型（Ettin）上受控对比 LoRA 与全参数微调用于提示安全分类，跨三种任务格式、每组最多 15 个随机种子并采用预设分析。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数5252 通过对照语言验证 LLM 自动形式化规格的论文
论文提出用对照语言（contrapuntal languages）验证 LLM 自动形式化生成的代码规格：构造一对任务专用形式语言，各自独立形式化用户意图，仅当求解器证明两种形式化等价时才接受该规格，以实现错误去相关。
arXiv推荐指数2222 ExGrad：对抗训练中显式干净梯度相减，超越单纯抑制
ExGrad（外推梯度重组）通过构造干净输入、对抗输入与 AWP 梯度并测量其边界响应，在无约束的有界仿射域上求解三变量系数选择问题。在 CIFAR-10 上，负干净系数随仿射半径增大而迅速占主导；将干净系数置零并不足够，适度相减可提升 PGD-20，更强相减则以干净精度换取进一步增益。
arXiv推荐指数2828 LEAN：通过损失工程调制模型权重敏感度分布，实现高效容错神经网络
LEAN 提出一种复合正则化方法，可在微调或训练末期用十个 epoch 系统性调制已训练模型的权重敏感度分布，在九个视觉模型（ResNet-18、ResNet-50、VGG-16 于 CIFAR-10、CIFAR-100、ImageNet）上将敏感尾部缩小 5 至 13 倍，精度损失在 0.5 个百分点以内。
arXiv推荐指数2222 NumAnchor：为汇编语言模型提供地址锚定的数值操作数表示
NumAnchor 是一种输入边界适配器，将汇编语言模型中可恢复的数值类操作数表示为带类型、规范化的程序实体，在不增加宿主序列长度的前提下保留实体身份与局部性。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
arXiv推荐指数3131 RegoMender：面向 Rego 策略自动修复的多智能体框架
RegoMender 是反馈引导的多智能体框架，通过共享黑板与原子工具包动态执行打补丁、重写或回滚，用于修复 Rego 策略。团队同时发布首个自动化 Rego 策略基准 RegoBench，含 1,159 个真实缺陷；RegoMender 在 RegoBench 上语法与基于测试的语义成功率分别为 82.9% 和 77.9%，超出最强基线 13.4%。
arXiv推荐指数3131 在受限设备与微控制器上测试 TLS 1.3 PQC
研究用 wolfSSL 在 Raspberry Pi Pico W、Pico 2 W、ESP32 和 Raspberry Pi Zero 上对 36 种 TLS 1.3 算法组合进行握手延迟与能耗基准测试。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
arXiv推荐指数2222 IPsec 的 PQC 迁移：IKEv2 中可靠复合密钥共享机制
针对 PQC 长密钥无法装入单个 IP 包、易引发 IP 分片并导致 IKEv2 安全关联失败的问题，研究提出将经典密钥与量子密钥拼接为单一复合密钥并经 TCP 传输的 IKEv2 密钥共享机制。在 1% 丢包下握手时间比 UDP/TCP 混合机制至少优 20%，10% 丢包下优 30%，能耗在 10% 丢包下降低 29%。
arXiv推荐指数4141 CrypSteer：用共享修复方向引导代码模型安全使用加密 API
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序，发现修复向量按误用类别而非语言聚类，并提出 CrypSteer——在模型权重不变的情况下，于生成时向内部激活加入每个模型一条共享方向，使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。
arXiv推荐指数2626 Vibenix：用 LLM 智能体自动生成 Nix 打包表达式并维护软件包
Vibenix 是开源 AI 智能体，通过 LLM 迭代生成 Nix 打包表达式，在自建 NixBench 的 466 个打包任务上用 Claude Haiku 4.5 实现 95.3% 可构建率，而现有单次生成打包工具仅 5.6%。