实测追踪廉价开源权重模型的网络攻击能力
作者在 ExploitBench 上实测小米开源权重模型 MiMo-V2.6-Pro 的漏洞利用能力,该模型在 9 个参评模型中排第 3,仅次于 Mythos(preview)和 GPT-5.5,单位成本能力最高。
作者在 ExploitBench 上实测小米开源权重模型 MiMo-V2.6-Pro 的漏洞利用能力,该模型在 9 个参评模型中排第 3,仅次于 Mythos(preview)和 GPT-5.5,单位成本能力最高。
谷歌发布新旗舰模型 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis 智能指数 5.0,超越 Claude Opus 5.5 与 GPT-6 Astra。
谷歌发布新前沿模型 Gemini 4 Carbon,在 Artificial Analysis 智能指数 v5.0 以 59 分登顶,Arena 文本总榜以 1528 分排第一、Agent 总榜第二。
AgenticBench 发布安全排行榜,对25款AI编程Agent(harness)运行9项安全测试,每项在独立容器中以默认设置运行一次,通过系统调用轨迹、模型请求和网络流量等捕获证据判定结果。
推荐理由:该榜单用统一容器和证据捕获方式对25个AI编程Agent做9项安全测试,读者可据此横向比较各家护栏表现与披露处理流程。
文章指出,衡量大语言模型安全性的评测基准正快速增多,各自针对不同变量,但没有任何一个能取代针对自身代码与工作流的实测。随着面向不同攻击面的基准不断涌现,拼凑式的评测格局让模型安全度量变得复杂,最终仍需结合自身场景做落地测试。
AI21 Labs 发布指令跟随评测集 LIFT-Bench、含 34,258 件任务的训练集 LIFT-Train 及开源生成管线,配套论文由 Eran Goldstein 等人于 10 月 20 日提交至 arXiv。
推荐理由:原文详细拆解了奖励作弊的成因与作用域约束判定器的验证过程,读者可据此理解RL奖励设计如何影响指令跟随训练。
文章提出面向具身智能场景的大模型安全评测应从文本拒答延伸到物理动作后果,将跨模态危险任务纳入评估,并区分模型主动拒止、安全防护系统拦截、本体执行失败等不同结果。
Ai2 发布 FairStress 基准,用于评测 LLM 在招聘、贷款、医疗等高风险决策中的群体公平性,除最终选择外还测量模型在对抗前缀下改变决策的难易程度。基准覆盖 29 个领域的 300 个双候选人场景,扩展为超过 1300 万个测试用例,并提供 5 万条的 FairStress-Core 子集。
Ai2 发布 FairStress,一个衡量大模型在涉及人的决策中人口群体公平性的基准,覆盖 29 个领域、300 个双候选人场景,并已集成进 Olmo-eval。
推荐理由:FairStress 把公平性评测从最终选择扩展到对抗前缀下的决策稳定性,并给出跨模型与训练数据的实测差异。
Vals AI 与临床医生合作构建 SAFE-Teen 基准,模拟 3 万多段青少年与 18 款 AI 模型的多轮对话,在未加青少年提示的情况下,54% 的对话至少出现一次青少年安全失败。
推荐理由:Vals AI 与临床医生共建 SAFE-Teen,用 3 万段多轮对话测 18 款模型,给出可比较的青少年安全失败率与推回场景数据。
Preference Model 审计 Terminal Bench 4 的 65 道题,发现 44 道可被作弊通过、41 道按指令从未明确写出的规则判分,65 道中 60 道至少存在一个问题。
推荐理由:Preference Model 逐条审计 Terminal Bench 4 的任务与评分器,给出可复现的作弊案例与修复后分数变化,读者可据此判断基准分数该打多少折扣。
腾讯玄武实验室使用 GLM-5.2 重新评估其多智能体安全分析系统 Xuanwu Atuin AI,在 CyberGym 全部 1507 个任务上取得 84.8% 的 pass@1(1,278 个任务成功生成仅使修复前二进制崩溃的 PoC),较此前 GLM-5.1 驱动时的 84.0% 提升 0.8 个百分点。
Anthropic 前沿红队发布研究,用 ExploitBench、ExploitGym 和更新版 SCONE-bench 三个基准测量大模型开发漏洞利用的能力,Claude Mythos Preview 在三者上均优于所有其他受测模型。
推荐理由:Anthropic 红队用三个漏洞利用基准量化 Claude Mythos Preview 的能力,读者可据此看到模型攻破 V8 沙箱与内核的实际差距。