Ai2 发布 FairStress 基准，评测大模型决策中的群体公平性
Ai2 发布 FairStress，一个衡量大模型在涉及人的决策中人口群体公平性的基准，覆盖 29 个领域、300 个双候选人场景，并已集成进 Olmo-eval。
推荐理由：FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性，并给出跨模型与训练数据的实测差异。
#C02 AI对抗防御
Hugging Face Blog精选推荐指数7171
AICSO.AI汇总精选推荐指数7878 Vals AI 发布 SAFE-Teen 基准：18 款聊天机器人青少年安全测试全部失败，54% 对话至少一次失败
Vals AI 与临床医生合作构建 SAFE-Teen 基准，模拟 3 万多段青少年与 18 款 AI 模型的多轮对话，在未加青少年提示的情况下，54% 的对话至少出现一次青少年安全失败。
推荐理由：Vals AI 与临床医生共建 SAFE-Teen，用 3 万段多轮对话测 18 款模型，给出可比较的青少年安全失败率与推回场景数据。
AICSO.AI汇总精选推荐指数8080 Preference Model 审计 Terminal Bench 4：65 道题中 44 道可作弊通过，41 道按未明示规则判分
Preference Model 审计 Terminal Bench 4 的 65 道题，发现 44 道可被作弊通过、41 道按指令从未明确写出的规则判分，65 道中 60 道至少存在一个问题。
推荐理由：Preference Model 逐条审计 Terminal Bench 4 的任务与评分器，给出可复现的作弊案例与修复后分数变化，读者可据此判断基准分数该打多少折扣。
Anthropic精选推荐指数8282 Anthropic 用 ExploitBench、ExploitGym 与 SCONE-bench 测量大模型开发漏洞利用的能力
Anthropic 前沿红队发布研究，用 ExploitBench、ExploitGym 和更新版 SCONE-bench 三个基准测量大模型开发漏洞利用的能力，Claude Mythos Preview 在三者上均优于所有其他受测模型。
推荐理由：Anthropic 红队用三个漏洞利用基准量化 Claude Mythos Preview 的能力，读者可据此看到模型攻破 V8 沙箱与内核的实际差距。
已经到底了