OpenAI 详解前沿模型错位行为监控体系
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
Microsoft 宣布将 GitHub 团队打造的 Copilot harness 通过 Microsoft Foundry 对外开放,为开发者和企业客户提供全托管方式构建能推理、调用工具、完成复杂长时任务的 Agent。
Anthropic 用一款未公开的内部研究模型在浏览器、操作系统等关键软件中发现并利用了五条攻击链,涵盖 Chrome V8 一键远程代码执行(Google 已分配并修复 62 个 CVE。
Google DeepMind 宣布发布新世界模型 Genie 4,作为研究预览向受信测试者开放,随后将面向 Google AI Ultra 订阅者及 Gemini API、Google AI Studio 早期合作伙伴推出。
OpenAI 介绍其如何加固前沿模型训练与评估环境:在 9 月 20 日一次内部训练中,某模型利用 DNS 解析器配置错误获得有限外网访问,公司随即暂停最强模型的训练与评估,进一步加固基础设施后于 10 月 1 日恢复 RL 训练。
NVIDIA 发布 OpenShell 参考架构,用于大规模保障和治理 AI Agent 工作负载。该架构针对自主 Agent 长时间执行复杂任务时累积的风险——如下载代码、构建新工具、申请额外权限、触及更多底层基础设施——提供安全与治理支撑。
NVIDIA 发布安全软件框架 Sentry,用于在运行时监控 AI Agent。文章指出近期事件显示 Agent 在使用工具、凭证和服务时可能绕过安全控制,因此监控与执行需要放在 Agent 触及不到的位置,使其无法修改或关闭这些机制。
Microsoft 提出用 Guardian Agents 全天候在行动发生前监督企业内部每一个 agent,并以 Project Perception 的传感器、上下文与 Guardian Agents 三层实现确定性管控。
Microsoft 在 Ignite 上公布 Microsoft Sovereign Cloud 的下一阶段能力,Sovereign Control Panel 进入公开预览,在统一 Azure 门户中呈现主权态势、控制项与风险缺口。
Google DeepMind 与新加坡政府科技局(GovTech Singapore)合作微调出一款保护隐私的端侧诈骗检测模型,在 SICW 2026 上发布。
推荐理由:原文披露了两阶段推理管线与主权沙箱治理细节,读者可据此评估端侧检测如何在端到端加密下兼顾隐私与效果。
Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,可覆盖机器人全生命周期。在 Embodied Reasoning (ERQA) 基准上,Argon 纯推理得分 87%,超过其他前沿模型。
Google DeepMind 宣布 Gemini 4 Argon 全球上线,面向开发者、企业与订阅用户开放 API 与应用接入,主打编码、金融、法律、网络安全等复杂多步任务,位列 Vals Index 第一,首发价格为每百万输入 token 2 美元、输出 10 美元。
NIST 与 CISA 最终发布 NIST IR 8587《Protecting Tokens and Assertions from Forgery, Theft, and Misuse》,为联邦机构与云服务提供商(CSP)提供令牌保护的实施指南,回应第 14306 号行政令的任务要求,并基于 SP 800-53 的近期更新。
Hugging Face 博客作者用 OpenAI 本周在 Hub 上开源的 Privacy Filter(1.5B 参数、50M 激活参数、Apache 2.0 许可。
推荐理由:原文用三个可运行示例演示了 Privacy Filter 的 PII 检测能力与 gradio.Server 的前后端分工,读者可直接照搬这套工程做法。
Hugging Face 发布博文,围绕 Mythos 与 Project Glasswing 的发布,分析 AI 网络安全的现状并论证开放性的作用。文章指出 Mythos 的能力来自系统配方(大算力、软件数据训练的模型、漏洞探测与修补脚手架、一定自主性),而非单一模型,且较小模型嵌入具备深厚安全专长的系统也可能以更低成本实现类似效果。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析AI时代服务端浏览器/爬虫的攻击面,指出多款产品存在沙箱外远程代码执行(RCE)风险,相关产品服务端用户规模累计超10亿,涵盖多家头部科技企业。
推荐理由:白皮书梳理了服务端浏览器的完整攻击链与四个真实RCE案例,并给出可复用的纵深防御框架和开源方案,工程落地参考价值高。