arXiv· Mohammad Sadegh Akhondzadeh·· 2 天前推荐指数60
Adversarial Self-Distillation:用自蒸馏提升安全对齐模型的抗对抗扰动能力
Adversarial Self-Distillation
AI 导读
arXiv 论文提出 Adversarial Self-Distillation(ASD),针对安全对齐语言模型仍可被对抗扰动绕过的问题,将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率,多选题准确率损失很小,并能在模型已给出顺从开头后仍恢复拒绝。
来源:arXiv · arxiv.org