arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 8 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数5555 HausaSafeLM：面向豪萨语的大语言模型安全对齐研究
论文针对豪萨语（Hausa）这一低资源语言研究大语言模型安全对齐，提出首批豪萨语安全偏好数据集 HausaSafeLM，包含从 PKU-SafeRLHF 衍生的 10,000 条 prompt，其中 3,000 条人工修正（gold）、7,000 条机器翻译（silver），覆盖六类危害宏类别。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数5151 arXiv 论文研究非母语语法错误对大语言模型社会偏见的影响
论文提出一个受控框架，将非母语写作者常见语法错误注入 prompt，并在覆盖性别、种族、宗教的刻板印象对齐与人口偏好三个偏见评测集上测试。结果显示语法错误会增大模型偏见，且随错误率上升而加剧；四类常见错误中，介词错误带来的刻板印象对齐增幅最大且最稳定，分析认为错误越可能干扰理解时偏见增幅越明显。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。