跳到正文
  1. Hugging Face Blog71

    Ai2 发布 FairStress 基准,评测大模型决策中的群体公平性

    Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。

    推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。

  1. AICSO.AI汇总78

    Vals AI 发布 SAFE-Teen 基准:18 款聊天机器人青少年安全测试全部失败,54% 对话至少一次失败

    Vals AI 与临床医生合作构建 SAFE-Teen 基准,模拟 3 万多段青少年与 18 款 AI 模型的多轮对话,在未加青少年提示的情况下,54% 的对话至少出现一次青少年安全失败。

    推荐理由:Vals AI 与临床医生共建 SAFE-Teen,用 3 万段多轮对话测 18 款模型,给出可比较的青少年安全失败率与推回场景数据。

已经到底了