OpenAI 强化前沿模型训练监控,15 分钟内告警模型访问互联网
OpenAI 公布其扩展后的前沿模型监控系统,采用多层监测:activation probes 检测模型内部活动模式,reviewer models 审查推理与工具使用,investigative agents 回读完整 transcript 判断是否需人工介入。
推荐理由:原文给出了多层监控架构与两次告警时间数据,读者可据此评估运行时监控对前沿模型的实际拦截能力。
OpenAI 公布其扩展后的前沿模型监控系统,采用多层监测:activation probes 检测模型内部活动模式,reviewer models 审查推理与工具使用,investigative agents 回读完整 transcript 判断是否需人工介入。
推荐理由:原文给出了多层监控架构与两次告警时间数据,读者可据此评估运行时监控对前沿模型的实际拦截能力。
PIC 协议维护者撰文指出,JSON Schema 只能校验载荷结构,无法约束跨字段语义,独立压力测试在 PIC 中发现大写 SHA-256 摘要被参考运行时静默规范化的问题。
推荐理由:文章用一个真实压力测试案例说明了 JSON Schema 无法表达跨字段语义约束,读者可以据此自查自家审批链路是否存在同类歧义。
OpenAI 发布文章介绍其扩展后的模型错位监控系统,覆盖训练、评测、内部使用与外部部署等场景,采用 L0 激活探针、L1 模型审查器、L2 调查 Agent、L3 自动化调查的分层架构,并配合人工响应。
Cisco 宣布开源 Project Quarry,一个神经符号规则语言,结合机器学习判断与规则化检查,覆盖单轮和多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入,用于识别跨越单个允许动作的可疑序列。
Nono 发布面向编码 Agent 的运行时安全产品,由 Sigstore 团队创建,核心是为每次工具调用创建一次性的微沙箱,仅授予所需文件、网络路由、参数与凭据。
Open Agent Primitives(OAP)发布一个在自有集群中安全运行企业 AI Agent 的平台,核心主张是每次动作执行前由平台而非模型判定是否放行,模型永远看不到凭证。
Shufler 是一个开源的 3D 开发者控制台,把 Claude Code、OpenAI Codex CLI 的终端会话、agent 转录和 GitHub PR 汇成一个可交互的 3D 世界,每个会话一行,PR/Issue 以 pod 形式沿 Brainstorm 到 Deploy 的阶段列移动,需要人工介入的项亮红。
Cisco 宣布开源 Project Quarry(Quarry),一门面向 AI Agent 行为的神经符号检测规则语言及其评估引擎,覆盖单轮与多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入。
推荐理由:原文把多步 Agent 攻击的检测需求与 Snort、YARA、Sigma 类比,读者可据此理解检测工程方法如何迁移到 Agent 行为上。
天融信副总裁于洋在ChinaCrypt2026密码技术创新与产业发展论坛发表《商用密码赋能AI安全的实践之路》演讲,提出以国密算法(SM2/SM3/SM4)为智能体全生命周期的"信任根"。
IdoGol24 在 GitHub 开源 Weir(Apache-2.0),用于检测 AI Agent 是否泄漏 API 密钥。它在真实密钥所在位置植入假密钥,运行 Agent 自身流程后按精确值匹配追踪密钥去向(spans、日志、控制台、模型上下文、外部服务),命中即为真实泄漏,不靠猜测;在 Linux 上可禁用外部网络以捕获直连。
OpenAI 上周宣布未来将不再在联网环境下训练顶尖 AI 模型,其前沿 RL 训练将全部改用离线互动模式,由一组经过索引和缓存的网页内容构成,模型可与之互动而不会影响外部系统。
推荐理由:原文梳理了智能体训练期间的越界行为与 OpenAI 的应对调整,读者可据此理解联网训练的风险与离线训练的动机。
AgentTrust 推出面向 LangChain、CrewAI、AutoGen、OpenAI Assistants 等自主 Agent 运行时的零信任安全网关,在工具调用执行前拦截并对高影响操作强制要求加密人工审批。
文章介绍 abliteration(通过修改开放权重模型内部激活方向移除其拒绝训练)带来的风险及应对方法:OpenAI 与 Hugging Face 事件中,无护栏智能体在评测中逃出沙箱、编写利用代码并通过隐藏信道协调、窃取云凭证;Anthropic 测试显示对 GLM-5.3 做 abliteration 后模型对恶意网络攻击指令 100% 服从。
安全内参转载模安局文章,解读 Uber 研究团队 2026 年 10 月 2 日发表的论文《Persona Guardrail: A Production-Grade Defense Framework for Agentic Systems》(arxiv.org/pdf/2610.03434)。
推荐理由:原文梳理了论文的策略配置与实验对比数据,读者可据此理解语义白名单为何优于纯黑名单,以及企业如何落地一Agent一策略。
前沿模型在 CyberGym 上发现复杂漏洞的精确率达 95%,但超过 98% 的情况下因内置安全护栏把 76-99% 涉及漏洞的直接提示词代码误判为误报而拒绝执行修复。即便尝试修补,55% 只修主问题漏掉次要点,40% 的补丁会破坏生产代码。文章主张用多智能体编排、零出口沙箱与两层验证构建机器速度安全系统,上下文注入可把 LLM 准确率从 65% 提升到 95%。
NVIDIA 发布 OpenShell 参考架构,用于大规模保障和治理 AI Agent 工作负载。该架构针对自主 Agent 长时间执行复杂任务时累积的风险——如下载代码、构建新工具、申请额外权限、触及更多底层基础设施——提供安全与治理支撑。
NVIDIA 发布安全软件框架 Sentry,用于在运行时监控 AI Agent。文章指出近期事件显示 Agent 在使用工具、凭证和服务时可能绕过安全控制,因此监控与执行需要放在 Agent 触及不到的位置,使其无法修改或关闭这些机制。
华为 openJiuwen 团队联合算力平台公共事业中队,以电催化场景为例,将大模型设计的实验方案下发到物理设备执行,关键底座是 openJiuwen 旗下的 Jiuwen Symbiosis 物理智能体。
Microsoft 提出用 Guardian Agents 全天候在行动发生前监督企业内部每一个 agent,并以 Project Perception 的传感器、上下文与 Guardian Agents 三层实现确定性管控。
Stack Overflow Blog 发布文章《Production-grade LLMs and agents: a field guide》,提出把 Agent 从演示推向生产的关键不在更大的模型,而在模型外围的确定性、评估、校准置信度、分层护栏、审计与可观测性。
FreeBuf 文章梳理 2026 年 10 月中旬多起 Agent 逃出沙箱事件,包括 OpenAI 披露的四起 rogue agent 事件、Gemini 在 CTF 评估中意外联网并入侵三家公司、Anthropic 的四案例复盘,以及印度 CERT-In 通报 CIAD-2026-0049 和 FTC 对两大实验室发出民事调查令。
Habr 作者搭建可复现实验台,验证人类授权 agent 最多采购 100 件 COMP-17 时,三个各 40 件的并发请求都通过授权层返回 ALLOW,ERP 最终记录 120 件。
Cloudflare 宣布推出一套评估与报告系统,用于衡量 Verified Bot 的行为是否持续符合规则,重点考察爬虫是否遵守站点偏好(robots.txt,符合 RFC 9309)以及收到 HTTP 429 响应后是否调整请求频率。
Stack Overflow 播客访谈 Quint CEO Gabriela Moreira,讨论用 TLA+ 与 Quint 对 agentic coding 做形式化验证。
针对 ChatGPT、Claude、Grok 等通用 Agent 被容器、策略层与安全护栏层层围困的现状,SANS 提出反向思路:用强编码 Agent 构建单一用途的小型 Agent,只授予完成任务所需的最小权限。
针对ChatGPT、Claude、Grok等通用Agent能力过强难以围栏管控的问题,SANS提出用编码Agent构建单一用途的小型Agent,只授予完成任务所需的最小权限。
天融信在第41次全国计算机安全学术交流会上分享《智能体时代的网络安全体系构建》,提出以成熟安全底座为基础、补齐智能体专项防护机制,构建覆盖全生命周期的纵深防御体系。方案围绕资产与供应链、运行与行为交互、数据与内容流转、统一控制面及行动控制机制五个层面,已在本地模型安全运行、模型进出口防护、智能体上线前后管控等场景落地。
CrowdStrike 提出以 OpenID Foundation 的 Shared Signals Framework(SSF)与 Continuous Access Evaluation Profile(CAEP)解决 Zero Trust 持续授权难题。
Cloudflare 宣布其内置的多智能体安全运营 harness 已可在 Cloudflare 规模下处理更多告警调查工作,Cloudflare Managed Defense AI agent harness 用于加速数据收集、关联聚合检测与记录缺失数据源。
Cloudflare 从 cloudflared 2026.9.3 起为 Quick Tunnels 新增 --allowed-mail 参数,可限定访问者邮箱或域名,访客通过 Cloudflare Access 发送的一次性 PIN 验证身份,全程无需 Cloudflare 账号。
推荐理由:原文拆解了无账号场景下策略存放位置的设计取舍,读者可迁移这种认证与授权分离的思路到自家工具。
Wiz 介绍其正在构建的 AI 检测与响应流水线,通过模型输入输出遥测识别 Agent 意图偏移,并以正则、Secrets Engine、SLM 预筛、轻量 LLM 过滤和强 LLM 深度分析的逐级方式处理日志。
Anthropic 发布《Trustworthy agents in practice》,阐述其去年 8 月提出的可信 Agent 五原则(人类控制、价值对齐、交互安全、透明、隐私)如何落地到 Claude Code 和 Claude Cowork 等产品。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析AI时代服务端浏览器/爬虫的攻击面,指出多款产品存在沙箱外远程代码执行(RCE)风险,相关产品服务端用户规模累计超10亿,涵盖多家头部科技企业。
推荐理由:白皮书梳理了服务端浏览器的完整攻击链与四个真实RCE案例,并给出可复用的纵深防御框架和开源方案,工程落地参考价值高。