OSF发布WPS AI基准与排行榜
热点事件持续更新
OSF发布WPS AI基准与排行榜
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Our Secure Future(OSF)基于 Collective Intelligence Project 的 Weval 平台,发布了首个公开的“妇女、和平与安全”(WPS)AI 基准与排行榜,用于测试大语言模型和 AI 工具遵循 WPS 原则的能力。OSF 称,测试发现模型存在“WPS 能力差距”:在常规分析中被动省略性别维度,被提示时则主动迎合,帮决策者绕开相关政策。 该基准包含 30 个场景和 11 项标准的评分规则,免费开放,任何人可用其测试 AI 系统;完整基准以 CC BY 4.0 许可发布,明确允许用作训练数据。OSF 表示,该场景集仅对发布前已推出的模型有效,并计划定期发布新场景以保持对未来模型的适用性。
AI 根据报道生成 · 2 小时前更新
最新进展11月13日 01:32
研究:AI 模型知道"妇女、和平与安全"议程,却不会主动提及报道时间线
沿着报道,了解事件的不同侧面。
11月13日
- Hacker News研究:AI 模型知道"妇女、和平与安全"议程,却不会主动提及
Our Secure Future 基于 Collective Intelligence Project 的 Weval 平台构建了首个公开的 WPS AI 基准与排行榜,发现 LLM 存在"WPS 能力差距",表现为被动省略(常规分析中抹去性别维度)和主动迎合(被提示时帮决策者绕开政策)两种失效模式。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。