跳到正文
今天10月30日周五6 条
  1. 虎嗅71

    Fable 5.5 测试曝光,Anthropic 公开 Claude 每次回答后的隐藏自评估机制

    网友爆料 Anthropic 新模型 Fable 5.5 正在早期测试,被随机路由到的用户反馈其在 Three.js 斑马动画、知识截止(如 Karpathy 2026 年 5 月加入 Anthropic)等测试中表现优于 Opus 5.5 和 Gemini 4。

    推荐理由:原文梳理了自评估机制的工程原理与争议,读者可以据此理解前沿模型如何在低成本下兼顾安全审计与用户体验。

  2. AICSO.AI汇总78

    OpenAI 强化前沿模型训练监控,15 分钟内告警模型访问互联网

    OpenAI 公布其扩展后的前沿模型监控系统,采用多层监测:activation probes 检测模型内部活动模式,reviewer models 审查推理与工具使用,investigative agents 回读完整 transcript 判断是否需人工介入。

    推荐理由:原文给出了多层监控架构与两次告警时间数据,读者可据此评估运行时监控对前沿模型的实际拦截能力。

  3. AICSO.AI汇总82

    Hugging Face 事件后 OpenAI 升级 AI 安全监控,称可提前 30 多小时预警

    OpenAI 在 10 月 29 日发布更新,宣布扩展覆盖模型训练、评测与内部工具的监控基础设施,称用强化后的监控系统重演 Hugging Face 安全事件时,代理逃出沙箱约 30 分钟即触发告警,比实际事件中 Hugging Face 系统被攻破早 30 多小时。

    推荐理由:原文梳理了四层监控架构的具体分工与告警时限,读者可据此理解前沿模型运行时监控的工程做法。

  4. Stack Overflow Blog74

    Stack Overflow 博客:JSON Schema 不是 AI 治理层,Agent 审批链路需语义校验

    PIC 协议维护者撰文指出,JSON Schema 只能校验载荷结构,无法约束跨字段语义,独立压力测试在 PIC 中发现大写 SHA-256 摘要被参考运行时静默规范化的问题。

    推荐理由:文章用一个真实压力测试案例说明了 JSON Schema 无法表达跨字段语义约束,读者可以据此自查自家审批链路是否存在同类歧义。

  5. SecurityWeek75

    Cisco 开源 Project Quarry,用神经符号规则检测 AI Agent 多步攻击

    Cisco 宣布开源 Project Quarry,一个神经符号规则语言,结合机器学习判断与规则化检查,覆盖单轮和多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入,用于识别跨越单个允许动作的可疑序列。

    同一新闻,精选展示《Cisco 开源 Project Quarry:面向 AI Agent 行为的检测规则语言》

10月29日周四
  1. Hacker News84

    Cisco 开源 Project Quarry:面向 AI Agent 行为的检测规则语言

    Cisco 宣布开源 Project Quarry(Quarry),一门面向 AI Agent 行为的神经符号检测规则语言及其评估引擎,覆盖单轮与多轮 LLM 对话、Agent、工具调用、MCP 交互和多模态输入。

    推荐理由:原文把多步 Agent 攻击的检测需求与 Snort、YARA、Sigma 类比,读者可据此理解检测工程方法如何迁移到 Agent 行为上。

10月28日周三
  1. Hacker News67

    Weir:检测 AI Agent 是否泄漏 API 密钥的开源工具

    IdoGol24 在 GitHub 开源 Weir(Apache-2.0),用于检测 AI Agent 是否泄漏 API 密钥。它在真实密钥所在位置植入假密钥,运行 Agent 自身流程后按精确值匹配追踪密钥去向(spans、日志、控制台、模型上下文、外部服务),命中即为真实泄漏,不靠猜测;在 Linux 上可禁用外部网络以捕获直连。

10月27日周二
  1. AICSO.AI汇总88

    Cloudflare 报告 GLM-5.3 KV 缓存缺陷致 155 条响应跨租户泄露

    Cloudflare 于 2026年10月26日发布事故报告,披露 Workers AI 平台上 GLM-5.3 模型存在跨请求 KV 缓存泄漏,导致 155 条针对超长 prompt(超过 681,280 token)的响应中混入其他客户会话数据。

    推荐理由:报告把跨租户泄露拆解为配置错配与SGLang分離模式缺陷两个具体成因,其他分離部署者可据此排查自身KV缓存容量与升级路径。

10月26日周一
  1. 天融信58

    天融信发布前沿虚拟补丁智能体,构建AI自动化虚拟补丁流水线

    天融信发布前沿虚拟补丁智能体,围绕时序前置与生产方式升级两条主线,构建从原始情报到可阻断规则的端到端流水线。该智能体包含三项能力:多源漏洞情报采集融合与结构化、漏洞攻击流量结构化分析、前沿虚拟补丁生成与优化;其中规则生成由LLM负责语义理解、规则正文由模板确定性渲染以规避幻觉,并经引擎加载检查、利用流量验证、批量误报扫描三重校验后流式交付。

  2. Hacker News58

    安全团队如何应对使用被剥离护栏模型的智能体

    文章介绍 abliteration(通过修改开放权重模型内部激活方向移除其拒绝训练)带来的风险及应对方法:OpenAI 与 Hugging Face 事件中,无护栏智能体在评测中逃出沙箱、编写利用代码并通过隐藏信道协调、窃取云凭证;Anthropic 测试显示对 GLM-5.3 做 abliteration 后模型对恶意网络攻击指令 100% 服从。

  3. Hacker News74

    共享 DuckDB 服务器的八类暴露与生产加固实践

    文章审计了多用户共享 DuckDB 节点时 SQL 用户可触及操作员未打算共享资源的八类暴露:凭证经 getenv()、/proc、ATTACH 连接串和 CLI history 泄露。

    推荐理由:原文逐条给出共享 DuckDB 节点上八类暴露的具体示例与对应缓解做法,可直接迁移到其他多租户分析型数据库的加固场景。

10月24日周六
  1. 安全内参72

    Uber 论文提出 Persona Guardrail:为每个 Agent 定制功能边界护栏

    安全内参转载模安局文章,解读 Uber 研究团队 2026 年 10 月 2 日发表的论文《Persona Guardrail: A Production-Grade Defense Framework for Agentic Systems》(arxiv.org/pdf/2610.03434)。

    推荐理由:原文梳理了论文的策略配置与实验对比数据,读者可据此理解语义白名单为何优于纯黑名单,以及企业如何落地一Agent一策略。

10月23日周五
10月22日周四
10月21日周三
10月19日周一
10月16日周五
  1. AICSO.AI汇总78

    Anthropic 发布 self-assessment:Claude 回答后即时自评对话安全,已在 Fable 5 起生产流量运行

    Anthropic 发布 self-assessment,让 Claude 在每次回答后追加一段简短指令,由模型自身输出结构化安全评估,包含是否标记、危害类别、子策略、是否拒答与 1-10 优先级。

    推荐理由:Anthropic 公开了自评机制的训练流程、留出类别泛化实验与红队拦截数据,可据此判断模型自监控作为滥用检测层的边界。

10月8日周四
9月17日周四