跳到正文
热点事件持续更新

南京大学团队提出TestPrism测试生成基准

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

南京大学刘佳恒团队提出测试生成基准TestPrism,称单一参考评测会系统性高估Coding Agent所写测试的可靠性。 该基准汇集17个来源的300个测试任务和3000个候选实现,每个任务配1份参考实现、4份正确替代实现和5份错误实现;核心指标JSF要求测试在原始代码上失败、接受全部正确实现并拒绝全部错误实现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月12日
  1. AICSO.AI汇总精选
    南京大学团队提出TestPrism基准:Coding Agent写测试成功率被高估一倍

    南京大学刘佳恒团队提出测试生成基准TestPrism,显示单一参考评测会系统性高估Coding Agent所写测试的可靠性。该基准汇集17个来源的300个测试任务和3000个候选实现,每个任务配1份参考实现、4份正确替代实现和5份错误实现,核心指标JSF要求测试在原始代码上失败、接受全部正确实现并拒绝全部错误实现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。