arXiv· Barış Alparslan·· 8 天前推荐指数57
OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3
AI 导读
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
来源：arXiv · arxiv.org