arXiv 论文:交叉任务耦合如何驱动无监督 RLVR 中的策略坍缩
论文研究无标签、可验证奖励强化学习(RLVR)中模型以自身多数投票作为奖励时出现的策略坍缩现象:自评奖励趋近 1 但准确率下降,模型最终对所有问题给出相同答案,且坍缩仅在训练问题数量较多时出现。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文研究无标签、可验证奖励强化学习(RLVR)中模型以自身多数投票作为奖励时出现的策略坍缩现象:自评奖励趋近 1 但准确率下降,模型最终对所有问题给出相同答案,且坍缩仅在训练问题数量较多时出现。