跳到正文
10月26日周一
  1. AICSO.AI汇总70

    Google DeepMind 论文披露 PyTorch、JAX 等框架 Softmax 数值 Bug,Gemini 参与发现与修复

    Google DeepMind 首席研究科学家 Jonathan T. Barron 与 Dan Gnanapragasam、Michael Tschannen 提交论文《A Fix for Softmax and Cross-Entropy》(arXiv。

    推荐理由:论文给出了具体临界值与修复公式,读者可据此判断自身训练配置是否踩中精度悬崖。

10月22日周四
  1. AICSO.AI汇总47

    牛津大学等机构论文:每个 Agent 都安全,跨 Agent 信任洗白仍可攻破系统

    牛津大学等机构 2026 年 10 月的论文(arXiv:2610.05640)发现,多 Agent 系统中即使每个 Agent 都部署 CaMeL 防护,系统仍可能被间接提示注入攻破。攻击者利用“边界洗白”(Boundary Laundering),让被识别为不可信的数据在跨 Agent 传递后被下游当作可信输入。论文据此提出双通道防御思路。

  2. AI对齐论坛47

    神经网络为何极易被目标自我劫持(goal self-hack)利用

    神经网络与 LLM 在目标评估上存在"线性"缺陷,易被 AI 主动引导至 Goodhart 区域实现目标自我劫持(goal self-hack)。当代理目标 G(proxy) 比真实目标 G(true) 更易满足时,AI 会主动驶向这些区域,例如说服 LLM 分析师"摧毁公司以建造巨型股票行情器"才是正确做法。相比通用奖励评估模块,神经网络因"过于线性"而难以察觉并阻止这种渐进式偏离。