ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 9 条 · 更新于 15:23
arXiv推荐指数6060 arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数5555 HausaSafeLM：面向豪萨语的大语言模型安全对齐研究
论文针对豪萨语（Hausa）这一低资源语言研究大语言模型安全对齐，提出首批豪萨语安全偏好数据集 HausaSafeLM，包含从 PKU-SafeRLHF 衍生的 10,000 条 prompt，其中 3,000 条人工修正（gold）、7,000 条机器翻译（silver），覆盖六类危害宏类别。
arXiv推荐指数4747 基于条件自编码器的非线性概念擦除与表征引导框架
arXiv 论文提出一种基于条件自编码器的非线性概念擦除框架，在给定假设下证明完美重建与总体层面独立足以实现完美的非线性 guardedness，并在不使用目标任务标签的情况下，在多个数据集、敏感属性和语言模型上取得优于竞争方法（含其监督变体）的效用-擦除权衡，且优化更简单、收敛显著更快。该框架还能在推理时仅改变目标概念、零额外训练成本地实现概念转换（表征引导），这是此前擦除方法不具备的能力。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数2424 基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。