南京大学团队提出TestPrism测试生成基准
热点事件持续更新
南京大学团队提出TestPrism测试生成基准
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
南京大学刘佳恒团队提出测试生成基准TestPrism,称单一参考评测会系统性高估Coding Agent所写测试的可靠性。 该基准汇集17个来源的300个测试任务和3000个候选实现,每个任务配1份参考实现、4份正确替代实现和5份错误实现;核心指标JSF要求测试在原始代码上失败、接受全部正确实现并拒绝全部错误实现。
AI 根据报道生成 · 1 小时前更新
最新进展11月12日 12:34
南京大学团队提出TestPrism基准:Coding Agent写测试成功率被高估一倍报道时间线
沿着报道,了解事件的不同侧面。
11月12日
- AICSO.AI汇总精选南京大学团队提出TestPrism基准:Coding Agent写测试成功率被高估一倍
南京大学刘佳恒团队提出测试生成基准TestPrism,显示单一参考评测会系统性高估Coding Agent所写测试的可靠性。该基准汇集17个来源的300个测试任务和3000个候选实现,每个任务配1份参考实现、4份正确替代实现和5份错误实现,核心指标JSF要求测试在原始代码上失败、接受全部正确实现并拒绝全部错误实现。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。