Ai2 发布 FairStress 基准,评测大模型决策中的群体公平性
Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。
推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。
Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。
推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。
Anthropic 前沿红队发布新评测,衡量模型在战术情报定位(如依据碎片信息定位人员)与常规武器开发(如编写无人机打击移动目标的制导代码)上的能力。
推荐理由:Anthropic 红队公开了情报定位与常规武器开发两类能力评测,并给出各模型在模拟任务上的具体差距,可作为判断军事领域滥用风险的参照。
腾讯玄武实验室使用 GLM-5.2 重新评估其多智能体安全分析系统 Xuanwu Atuin AI,在 CyberGym 全部 1507 个任务上取得 84.8% 的 pass@1(1,278 个任务成功生成仅使修复前二进制崩溃的 PoC),较此前 GLM-5.1 驱动时的 84.0% 提升 0.8 个百分点。