arXiv 论文:模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》(作者 Nghi D. Q. Bui)提出一种免训练方法:让智能体在读用户回复前先写一份私有 Claim Checklist,逐条记录主张、支撑证据与置信度,收到质疑时据此决定保留、复核、澄清或修复。
论文定义了 State Integrity Collapse,即模型在记忆中保留了约束却在后续对话中不再遵守,并发布 StateTrack-Bench 评测套件,覆盖数值、格式、角色/人设、事实记忆与逻辑规则五类约束。
论文构建了覆盖四个领域、2,304 条提示词的基准,用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型,发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。