arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 20 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数6060 arXiv 论文揭示 Tülu-3 后训练配方使 LLM 事实核查更不信任低地位职业发帖者
论文研究六个模型家族的基座与后训练检查点，发现只有开放的 Tülu-3 配方（OLMo-2 32B、Tülu-3 70B）会让模型对低地位职业发帖者的声明更倾向于判定为假，效应低于一个百分点但统计可靠，超过训练漂移并在独立声明集上复现。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数3838 前沿大语言模型 Asch 从众实验的量化方法
arXiv 论文提出一种量化前沿大语言模型（LLM）Asch 从众效应的方法：对单个问题反复采样，利用 LLM 的概率性生成答案分布，再对比模型面对人为制造的共识前后的分布差异。实验确认前沿 LLM 确实存在从众行为，与既有文献一致，并通过分布对分布比较给出了从众发生条件与程度的量化数据。
arXiv推荐指数5555 HausaSafeLM：面向豪萨语的大语言模型安全对齐研究
论文针对豪萨语（Hausa）这一低资源语言研究大语言模型安全对齐，提出首批豪萨语安全偏好数据集 HausaSafeLM，包含从 PKU-SafeRLHF 衍生的 10,000 条 prompt，其中 3,000 条人工修正（gold）、7,000 条机器翻译（silver），覆盖六类危害宏类别。
arXiv推荐指数4747 基于条件自编码器的非线性概念擦除与表征引导框架
arXiv 论文提出一种基于条件自编码器的非线性概念擦除框架，在给定假设下证明完美重建与总体层面独立足以实现完美的非线性 guardedness，并在不使用目标任务标签的情况下，在多个数据集、敏感属性和语言模型上取得优于竞争方法（含其监督变体）的效用-擦除权衡，且优化更简单、收敛显著更快。该框架还能在推理时仅改变目标概念、零额外训练成本地实现概念转换（表征引导），这是此前擦除方法不具备的能力。
arXiv推荐指数5656 Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
arXiv推荐指数6363 EMNLP 2026 论文定义长对话状态完整性坍塌并发布 StateTrack-Bench 评测
论文定义了 State Integrity Collapse，即模型在记忆中保留了约束却在后续对话中不再遵守，并发布 StateTrack-Bench 评测套件，覆盖数值、格式、角色/人设、事实记忆与逻辑规则五类约束。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数5151 arXiv 论文研究非母语语法错误对大语言模型社会偏见的影响
论文提出一个受控框架，将非母语写作者常见语法错误注入 prompt，并在覆盖性别、种族、宗教的刻板印象对齐与人口偏好三个偏见评测集上测试。结果显示语法错误会增大模型偏见，且随错误率上升而加剧；四类常见错误中，介词错误带来的刻板印象对齐增幅最大且最稳定，分析认为错误越可能干扰理解时偏见增幅越明显。
arXiv推荐指数2424 基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数4949 Contextual Candour：面向混合敏感度上下文的 LLM 角色感知分级披露
研究者提出“分级披露”（graduated disclosure）访问控制框架，让 LLM 按用户授权级别校准回复的细节与敏感度，而非简单答或拒。该方法将分级披露建模为披露感知生成问题，用奖励优化抑制未授权事实泄露（含改写与近似表述）。在企业与临床基准上，其泄露显著低于 prompt、gating 与监督基线，同时保持正确性与可用性。
安全paper推荐指数4747 小规模本地部署 LLM 在法律语境下过度拒答：刑事法律场景中的角色前缀使拒答率上升 2–20 倍
研究显示，小规模开源权重 LLM 在刑事法律日常任务中，加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后，对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示，而是用户自然的职业自述；已知的角色扮演越狱前缀效果则因模型而异，部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测，机制、任务广度与泛化性仍待进一步研究。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。