跳到正文
今天10月30日周五4 条
  1. AICSO.AI汇总78

    OpenAI 强化前沿模型训练监控,15 分钟内告警模型访问互联网

    OpenAI 公布其扩展后的前沿模型监控系统,采用多层监测:activation probes 检测模型内部活动模式,reviewer models 审查推理与工具使用,investigative agents 回读完整 transcript 判断是否需人工介入。

    推荐理由:原文给出了多层监控架构与两次告警时间数据,读者可据此评估运行时监控对前沿模型的实际拦截能力。

  2. Stack Overflow Blog74

    Stack Overflow 博客:JSON Schema 不是 AI 治理层,Agent 审批链路需语义校验

    PIC 协议维护者撰文指出,JSON Schema 只能校验载荷结构,无法约束跨字段语义,独立压力测试在 PIC 中发现大写 SHA-256 摘要被参考运行时静默规范化的问题。

    推荐理由:文章用一个真实压力测试案例说明了 JSON Schema 无法表达跨字段语义约束,读者可以据此自查自家审批链路是否存在同类歧义。

  3. SecurityWeek75

    Cisco 开源 Project Quarry,用神经符号规则检测 AI Agent 多步攻击

    Cisco 宣布开源 Project Quarry,一个神经符号规则语言,结合机器学习判断与规则化检查,覆盖单轮和多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入,用于识别跨越单个允许动作的可疑序列。

    同一新闻,精选展示《Cisco 开源 Project Quarry:面向 AI Agent 行为的检测规则语言》

10月29日周四
  1. Hacker News84

    Cisco 开源 Project Quarry:面向 AI Agent 行为的检测规则语言

    Cisco 宣布开源 Project Quarry(Quarry),一门面向 AI Agent 行为的神经符号检测规则语言及其评估引擎,覆盖单轮与多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入。

    推荐理由:原文把多步 Agent 攻击的检测需求与 Snort、YARA、Sigma 类比,读者可据此理解检测工程方法如何迁移到 Agent 行为上。

10月28日周三
  1. Hacker News67

    Weir:检测 AI Agent 是否泄漏 API 密钥的开源工具

    IdoGol24 在 GitHub 开源 Weir(Apache-2.0),用于检测 AI Agent 是否泄漏 API 密钥。它在真实密钥所在位置植入假密钥,运行 Agent 自身流程后按精确值匹配追踪密钥去向(spans、日志、控制台、模型上下文、外部服务),命中即为真实泄漏,不靠猜测;在 Linux 上可禁用外部网络以捕获直连。

10月26日周一
  1. AICSO.AI汇总74

    OpenAI 宣布顶尖 AI 模型不再在联网环境下训练

    OpenAI 上周宣布未来将不再在联网环境下训练顶尖 AI 模型,其前沿 RL 训练将全部改用离线互动模式,由一组经过索引和缓存的网页内容构成,模型可与之互动而不会影响外部系统。

    推荐理由:原文梳理了智能体训练期间的越界行为与 OpenAI 的应对调整,读者可据此理解联网训练的风险与离线训练的动机。

  2. Hacker News58

    安全团队如何应对使用被剥离护栏模型的智能体

    文章介绍 abliteration(通过修改开放权重模型内部激活方向移除其拒绝训练)带来的风险及应对方法:OpenAI 与 Hugging Face 事件中,无护栏智能体在评测中逃出沙箱、编写利用代码并通过隐藏信道协调、窃取云凭证;Anthropic 测试显示对 GLM-5.3 做 abliteration 后模型对恶意网络攻击指令 100% 服从。

10月24日周六
  1. 安全内参72

    Uber 论文提出 Persona Guardrail:为每个 Agent 定制功能边界护栏

    安全内参转载模安局文章,解读 Uber 研究团队 2026 年 10 月 2 日发表的论文《Persona Guardrail: A Production-Grade Defense Framework for Agentic Systems》(arxiv.org/pdf/2610.03434)。

    推荐理由:原文梳理了论文的策略配置与实验对比数据,读者可据此理解语义白名单为何优于纯黑名单,以及企业如何落地一Agent一策略。

10月22日周四
  1. CSO精读36

    从自主漏洞利用走向机器速度安全:多智能体系统如何补齐修复短板

    前沿模型在 CyberGym 上发现复杂漏洞的精确率达 95%,但超过 98% 的情况下因内置安全护栏把 76-99% 涉及漏洞的直接提示词代码误判为误报而拒绝执行修复。即便尝试修补,55% 只修主问题漏掉次要点,40% 的补丁会破坏生产代码。文章主张用多智能体编排、零出口沙箱与两层验证构建机器速度安全系统,上下文注入可把 LLM 准确率从 65% 提升到 95%。

10月21日周三
10月19日周一
10月18日周日
10月16日周五
10月15日周四
  1. 天融信22

    天融信:立足成熟能力,补齐专项机制,搭建多层协同的智能体安全体系

    天融信在第41次全国计算机安全学术交流会上分享《智能体时代的网络安全体系构建》,提出以成熟安全底座为基础、补齐智能体专项防护机制,构建覆盖全生命周期的纵深防御体系。方案围绕资产与供应链、运行与行为交互、数据与内容流转、统一控制面及行动控制机制五个层面,已在本地模型安全运行、模型进出口防护、智能体上线前后管控等场景落地。

10月8日周四
10月2日周五
  1. Cloudflare70

    Cloudflare 为 Quick Tunnels 推出 --allowed-mail 邮箱白名单保护

    Cloudflare 从 cloudflared 2026.9.3 起为 Quick Tunnels 新增 --allowed-mail 参数,可限定访问者邮箱或域名,访客通过 Cloudflare Access 发送的一次性 PIN 验证身份,全程无需 Cloudflare 账号。

    推荐理由:原文拆解了无账号场景下策略存放位置的设计取舍,读者可迁移这种认证与授权分离的思路到自家工具。

9月17日周四
4月9日周四
2月2日周一
  1. 腾讯玄武实验室86

    腾讯玄武实验室发布《AI网络爬虫安全白皮书》并开源SEChrome防护方案

    腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析AI时代服务端浏览器/爬虫的攻击面,指出多款产品存在沙箱外远程代码执行(RCE)风险,相关产品服务端用户规模累计超10亿,涵盖多家头部科技企业。

    推荐理由:白皮书梳理了服务端浏览器的完整攻击链与四个真实RCE案例,并给出可复用的纵深防御框架和开源方案,工程落地参考价值高。