AgenticBench 发布25款AI编程Agent的9项安全测试榜单
AgenticBench 发布安全排行榜,对25款AI编程Agent(harness)运行9项安全测试,每项在独立容器中以默认设置运行一次,通过系统调用轨迹、模型请求和网络流量等捕获证据判定结果。
推荐理由:该榜单用统一容器和证据捕获方式对25个AI编程Agent做9项安全测试,读者可据此横向比较各家护栏表现与披露处理流程。
AgenticBench 发布安全排行榜,对25款AI编程Agent(harness)运行9项安全测试,每项在独立容器中以默认设置运行一次,通过系统调用轨迹、模型请求和网络流量等捕获证据判定结果。
推荐理由:该榜单用统一容器和证据捕获方式对25个AI编程Agent做9项安全测试,读者可据此横向比较各家护栏表现与披露处理流程。
AI21 Labs 发布指令跟随评测集 LIFT-Bench、含 34,258 件任务的训练集 LIFT-Train 及开源生成管线,配套论文由 Eran Goldstein 等人于 10 月 20 日提交至 arXiv。
推荐理由:原文详细拆解了奖励作弊的成因与作用域约束判定器的验证过程,读者可据此理解RL奖励设计如何影响指令跟随训练。
Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。
推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。
Preference Model 审计 Terminal Bench 4 的 65 道题,发现 44 道可被作弊通过、41 道按指令从未明确写出的规则判分,65 道中 60 道至少存在一个问题。
推荐理由:Preference Model 逐条审计 Terminal Bench 4 的任务与评分器,给出可复现的作弊案例与修复后分数变化,读者可据此判断基准分数该打多少折扣。