谷歌发布 Gemini 4 Carbon,智能指数登顶、首发定价为 Opus 5.5 一半
谷歌发布新旗舰模型 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis 智能指数 5.0,超越 Claude Opus 5.5 与 GPT-6 Astra。
谷歌发布新旗舰模型 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis 智能指数 5.0,超越 Claude Opus 5.5 与 GPT-6 Astra。
谷歌发布新前沿模型 Gemini 4 Carbon,在 Artificial Analysis 智能指数 v5.0 以 59 分登顶,Arena 文本总榜以 1528 分排第一、Agent 总榜第二。
文章指出,衡量大语言模型安全性的评测基准正快速增多,各自针对不同变量,但没有任何一个能取代针对自身代码与工作流的实测。随着面向不同攻击面的基准不断涌现,拼凑式的评测格局让模型安全度量变得复杂,最终仍需结合自身场景做落地测试。
Ai2 发布 FairStress 基准,用于评测 LLM 在招聘、贷款、医疗等高风险决策中的群体公平性,除最终选择外还测量模型在对抗前缀下改变决策的难易程度。基准覆盖 29 个领域的 300 个双候选人场景,扩展为超过 1300 万个测试用例,并提供 5 万条的 FairStress-Core 子集。
Vals AI 与临床医生合作构建 SAFE-Teen 基准,模拟 3 万多段青少年与 18 款 AI 模型的多轮对话,在未加青少年提示的情况下,54% 的对话至少出现一次青少年安全失败。
推荐理由:Vals AI 与临床医生共建 SAFE-Teen,用 3 万段多轮对话测 18 款模型,给出可比较的青少年安全失败率与推回场景数据。