arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 6 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数4949 Contextual Candour：面向混合敏感度上下文的 LLM 角色感知分级披露
研究者提出“分级披露”（graduated disclosure）访问控制框架，让 LLM 按用户授权级别校准回复的细节与敏感度，而非简单答或拒。该方法将分级披露建模为披露感知生成问题，用奖励优化抑制未授权事实泄露（含改写与近似表述）。在企业与临床基准上，其泄露显著低于 prompt、gating 与监督基线，同时保持正确性与可用性。