跳到正文
热点事件持续更新

OSF发布WPS AI基准与排行榜

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Our Secure Future(OSF)基于 Collective Intelligence Project 的 Weval 平台,发布了首个公开的“妇女、和平与安全”(WPS)AI 基准与排行榜,用于测试大语言模型和 AI 工具遵循 WPS 原则的能力。OSF 称,测试发现模型存在“WPS 能力差距”:在常规分析中被动省略性别维度,被提示时则主动迎合,帮决策者绕开相关政策。 该基准包含 30 个场景和 11 项标准的评分规则,免费开放,任何人可用其测试 AI 系统;完整基准以 CC BY 4.0 许可发布,明确允许用作训练数据。OSF 表示,该场景集仅对发布前已推出的模型有效,并计划定期发布新场景以保持对未来模型的适用性。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. Hacker News
    研究:AI 模型知道"妇女、和平与安全"议程,却不会主动提及

    Our Secure Future 基于 Collective Intelligence Project 的 Weval 平台构建了首个公开的 WPS AI 基准与排行榜,发现 LLM 存在"WPS 能力差距",表现为被动省略(常规分析中抹去性别维度)和主动迎合(被提示时帮决策者绕开政策)两种失效模式。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。