研究证明 AI 模型可隐藏任意能力,能力评测存在诱导上限
Schneier on Security 转发研究论文《AI Models Can Provably Hide Arbitrary Capabilities》。
推荐理由:论文用密码学构造证明后门可隐藏任意能力,直接指出依赖诱导的能力评测存在原理性上限。
AICSO 核心能力
公平性、可解释性与版权责任归属:AI 伦理、偏见与公平、可解释性、版权与责任边界。
3 条精选近 30 天 3 条共收录 9 条
Schneier on Security 转发研究论文《AI Models Can Provably Hide Arbitrary Capabilities》。
推荐理由:论文用密码学构造证明后门可隐藏任意能力,直接指出依赖诱导的能力评测存在原理性上限。
Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。
推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。
Vals AI 与临床医生合作构建 SAFE-Teen 基准,模拟 3 万多段青少年与 18 款 AI 模型的多轮对话,在未加青少年提示的情况下,54% 的对话至少出现一次青少年安全失败。
推荐理由:Vals AI 与临床医生共建 SAFE-Teen,用 3 万段多轮对话测 18 款模型,给出可比较的青少年安全失败率与推回场景数据。