ShallowDefend:利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend,一个 Assess → Decide → Respond 的多轮防御框架,让防御者先评估用户意图、提交可解析的安全决策,再据此生成回复,该决策由强化学习在 payload 轮次训练。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出 ShallowDefend,一个 Assess → Decide → Respond 的多轮防御框架,让防御者先评估用户意图、提交可解析的安全决策,再据此生成回复,该决策由强化学习在 payload 轮次训练。
arXiv 论文提出 Adversarial Self-Distillation(ASD),针对安全对齐语言模型仍可被对抗扰动绕过的问题,将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率,多选题准确率损失很小,并能在模型已给出顺从开头后仍恢复拒绝。
该论文提出一个轻量级推理时框架,用于在冻结的视觉语言模型中定位和操纵安全敏感表示,无需重训练或修改参数。
研究显示,小规模开源权重 LLM 在刑事法律日常任务中,加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后,对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示,而是用户自然的职业自述;已知的角色扮演越狱前缀效果则因模型而异,部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测,机制、任务广度与泛化性仍待进一步研究。