arXiv 论文:模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
论文提出 Curriculum of Models(CoM)方法,通过让调查模型依次针对一系列修改版目标模型训练,从易产生目标行为的版本逐步过渡到原始目标,以解决直接对安全模型训练时奖励信号稀疏的问题。
论文提出 PrivacyEvalClaw,一个免训练的审议式代理,用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具,自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
论文构建了以儿童为中心的AI伤害分类体系,整理并编码了1331起公开报道的儿童相关AI事件。研究发现伤害集中在表征、尊严和心理层面,且多与部署语境、治理和滥用失败相关,而非模型缺陷本身;对个体儿童的伤害还常波及未使用系统的其他儿童。
论文提出 REX(Relocating into Removable EXperts),利用 MoE 的模块化结构新增一组可物理移除的专家,通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中,删除这些专家即可得到可公开发布的模型。