arXiv· Tianyu Chen·· 8 天前推荐指数66
ImpasseBench：量化编码智能体证据与行动落差的评测集
Knowing When to Stop: The Evidence-Action Gap in Coding Agents
AI 导读
论文提出评测集 ImpasseBench，研究编码智能体在环境阻塞时何时应停止并升级求助。该评测向可解修复任务注入 12 种环境阻塞，并标注轨迹中证据已充分的步骤，以区分合理努力、过度坚持与过早移交。
来源：arXiv · arxiv.org