ShallowDefend:利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend,一个 Assess → Decide → Respond 的多轮防御框架,让防御者先评估用户意图、提交可解析的安全决策,再据此生成回复,该决策由强化学习在 payload 轮次训练。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出 ShallowDefend,一个 Assess → Decide → Respond 的多轮防御框架,让防御者先评估用户意图、提交可解析的安全决策,再据此生成回复,该决策由强化学习在 payload 轮次训练。
arXiv 论文提出 Adversarial Self-Distillation(ASD),针对安全对齐语言模型仍可被对抗扰动绕过的问题,将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率,多选题准确率损失很小,并能在模型已给出顺从开头后仍恢复拒绝。
论文提出 Curriculum of Models(CoM)方法,通过让调查模型依次针对一系列修改版目标模型训练,从易产生目标行为的版本逐步过渡到原始目标,以解决直接对安全模型训练时奖励信号稀疏的问题。
论文提出名为 Jailbreak Connectivity(JC)的多模态大语言模型视觉越狱框架,基于有效对抗样本可通过图像空间低损失区域相连的观察,优化连续对抗路径:路径采样生成多样化越狱图像,轻量代理分类器引导跨模型迁移,分布级目标实现跨有害查询的通用攻击。
论文构建了一个基于真实数据的耦合福利继续预训练语料,内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复,只需一次 QLoRA CPT 即可即插即用。
论文提出Curriculum of Models(CoM),一种基于强化学习的自动化越狱发现方法,通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练,以解决直接训练时因拒绝导致的稀疏奖励问题。
arXiv:2610.38091 提出 Jailbreak Connectivity(JC)视觉越狱框架,将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点,通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
SEMA-Auto 是一个多轮越狱攻击 agent,能读取目标模型回复、动态调整下一轮 prompt,并自行判断攻击是否成功,以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
arXiv:2610.34074论文指出,即使架构、数据配方和安全后训练完全相同,语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型,各施加相同安全后训练(含2个后训练种子),共150个模型,收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
arXiv:2610.33813 论文在匹配的 400M 编码器-解码器模型(Ettin)上受控对比 LoRA 与全参数微调用于提示安全分类,跨三种任务格式、每组最多 15 个随机种子并采用预设分析。