arXiv· You Wang·· 7 天前推荐指数62
arXiv论文实证研究编码智能体CoT中的错误断言与错误补丁的因果关系
From Faulty Claims to Incorrect Patches: An Empirical Study of Task-Grounded Reasoning in Coding Agents
AI 导读
论文对SWE-bench Pro上四个开源推理模型的400条轨迹做实证研究，从思维链（CoT）中抽取原子断言并核验，发现任务相关推理仅覆盖18.5%的CoT token，每条轨迹平均产生191个原子断言，其中至少9.6%存在错误。
来源：arXiv · arxiv.org