AICSO.AI汇总·· 10 天前推荐指数60
OpenAI 提出配对监控性与部署后风险两项指标补充 g-mean²
超越 g-mean²:OpenAI 提出衡量模型可监控性的补充指标
AI 导读
OpenAI 在 g-mean² 之外提出两项补充指标,用于衡量模型可监控性。配对监控性指标只在两个模型共同支持的实例上比较,避免能力差异导致的实例选择偏差;部署后风险指标把监控器当作拒绝门,模拟最多 K 次重试后系统仍输出坏结果的概率。作者用七模型合成实验验证配对指标能恢复已知排序,并在 7 个 agent 模型的历史 system card 数据上比较三种指标的一致性,建议三者同时报告。
来源:AICSO.AI汇总 · alignment.openai.com