跳到正文
10月29日周四
10月27日周二
  1. 安全深度阅读33

    AI 安全评测基准繁多,但没有一个能讲清全貌

    文章指出,衡量大语言模型安全性的评测基准正快速增多,各自针对不同变量,但没有任何一个能取代针对自身代码与工作流的实测。随着面向不同攻击面的基准不断涌现,拼凑式的评测格局让模型安全度量变得复杂,最终仍需结合自身场景做落地测试。

10月21日周三
  1. AICSO.AI汇总52

    Ai2 发布 FairStress 基准,评测 LLM 高风险决策中的群体公平性

    Ai2 发布 FairStress 基准,用于评测 LLM 在招聘、贷款、医疗等高风险决策中的群体公平性,除最终选择外还测量模型在对抗前缀下改变决策的难易程度。基准覆盖 29 个领域的 300 个双候选人场景,扩展为超过 1300 万个测试用例,并提供 5 万条的 FairStress-Core 子集。

10月20日周二
  1. AICSO.AI汇总78

    Vals AI 发布 SAFE-Teen 基准:18 款聊天机器人青少年安全测试全部失败,54% 对话至少一次失败

    Vals AI 与临床医生合作构建 SAFE-Teen 基准,模拟 3 万多段青少年与 18 款 AI 模型的多轮对话,在未加青少年提示的情况下,54% 的对话至少出现一次青少年安全失败。

    推荐理由:Vals AI 与临床医生共建 SAFE-Teen,用 3 万段多轮对话测 18 款模型,给出可比较的青少年安全失败率与推回场景数据。