果壳解读多项实验:粗鲁语气能否让AI表现更好
果壳梳理多项研究,检验对AI粗鲁是否真能提升表现。宾夕法尼亚州立大学2025年测试显示GPT-4o在非常粗鲁语气下准确率84.8%,高于非常礼貌的80.8%;但2026年扩大到570道题。
果壳梳理多项研究,检验对AI粗鲁是否真能提升表现。宾夕法尼亚州立大学2025年测试显示GPT-4o在非常粗鲁语气下准确率84.8%,高于非常礼貌的80.8%;但2026年扩大到570道题。
Amazon 团队在 NeurIPS 2026 发表论文 SpanUQ,提出 Span-Level Uncertainty Estimation(SLUE)新任务,将大模型不确定性估计从 Token 或整段序列粒度推进到语义片段粒度。
METR 对 Anthropic《Risk Report: August 2026》中“高风险场景下的失准”一节做了外部审查,认同其结论即截至 2026 年 7 月 15 日所覆盖模型(含 Mythos 5 与内部模型 Model 2)的灾难性失准风险为低,但认为这主要源于模型能力有限,而非安全护栏与对齐训练。
推荐理由:METR 对 Anthropic 风险报告的第三方审查,指出其监控评测与生产监控脱节,并给出可复用的红队建议。
哥伦比亚大学 Yan 与 Hewitt 的论文指出,奖励设定偏差本身就会让思维链(CoT)难以监控,并提出从模型获得奖励的轨迹中推断奖励偏好、在训练中把该描述间歇注入一半轨迹的方法。
Redwood Research 的 Alex Mallen 发文论证,仅以“提升安全且不显著损害有用性”定义安全研究并不成立,因为开发者最终要在帕累托前沿上选择具体一点,而能力研究通常把前沿推向“更有用但更不安全”的方向,诱导开发者牺牲安全换取有用性。
Anthropic 前沿红队发布新评测,衡量模型在战术情报定位(如依据碎片信息定位人员)与常规武器开发(如编写无人机打击移动目标的制导代码)上的能力。
推荐理由:Anthropic 红队公开了情报定位与常规武器开发两类能力评测,并给出各模型在模拟任务上的具体差距,可作为判断军事领域滥用风险的参照。
Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。
推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。
Anthropic 前沿红队发布机器人评测基准 Embody,让多款语言模型通过直接力矩控制、编写 Python 控制器、监督预训练策略和强化学习训练策略四种接口控制摆锤、四足与双足机器人及 Franka 机械臂。
推荐理由:Anthropic 红队用统一基准 Embody 横跨多种机器人本体与控制接口实测多款模型,读者可据此理解接入方式如何成倍改变模型的实际能力。
Anthropic 前沿红队开展 Project Fetch 实验,将 8 名非机器人专家的研究人员随机分为两组,一组可用 Claude、一组不可用,任务是编程四足机器狗取回沙滩球。