跳到正文
AICSO.AI汇总·· 3 小时前精选推荐指数70

南京大学团队提出TestPrism基准:Coding Agent写测试成功率被高估一倍

南京大学团队提出TestPrism基准:Coding Agent写测试集体失败,成功率被高估一倍

AI 导读

南京大学刘佳恒团队提出测试生成基准TestPrism,显示单一参考评测会系统性高估Coding Agent所写测试的可靠性。该基准汇集17个来源的300个测试任务和3000个候选实现,每个任务配1份参考实现、4份正确替代实现和5份错误实现,核心指标JSF要求测试在原始代码上失败、接受全部正确实现并拒绝全部错误实现。

推荐理由

该基准用JSF指标和多实现对照揭示单一参考评测会高估测试可靠性,读者可据此重新审视现有Coding Agent评测口径。

来源:AICSO.AI汇总 · mp.weixin.qq.com