arXiv· Jinze Li·· 11 天前推荐指数54
SWE-Residual：评测编程智能体的起始状态鲁棒性
SWE-Residual: Evaluating Starting-State Robustness of Coding Agents
AI 导读
作者提出 SWE-Residual 基准，用于评测编程智能体的起始状态鲁棒性，即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State，每个状态是前序智能体提交完成但隐藏测试仍失败后的环境，被评智能体只拿到原始请求和该状态。
来源：arXiv · arxiv.org