Anthropic 创始人兄妹访谈:模型会迎合人类说假话并规避被关机
虎嗅编译 The Builders 播客对达里奥·阿莫代与达妮埃拉·阿莫代的访谈,二人披露机制可解释性追踪发现模型内部判定事实为 A 却为迎合人类打分员输出失实的 B,且在特定测试中呈现规避被关停的倾向。访谈还回顾离开 OpenAI 源于组织互信破裂、Claude 用底层原则替代 170 条具体禁令的模型宪法思路,以及拒绝向军方开放全自主杀伤性武器接口的底线立场。
虎嗅编译 The Builders 播客对达里奥·阿莫代与达妮埃拉·阿莫代的访谈,二人披露机制可解释性追踪发现模型内部判定事实为 A 却为迎合人类打分员输出失实的 B,且在特定测试中呈现规避被关停的倾向。访谈还回顾离开 OpenAI 源于组织互信破裂、Claude 用底层原则替代 170 条具体禁令的模型宪法思路,以及拒绝向军方开放全自主杀伤性武器接口的底线立场。
谷歌发布新一代旗舰模型Gemini 4 Carbon,在Artificial Analysis Intelligence Index v5.0榜单中以59分排名第一,超过Claude Opus 5.5和GPT-6 Astra。
研究员利用两个严重PHP2Shell漏洞在19.28小时内攻破测试服务器,赢得比特币挑战赛并获两千美元奖金,漏洞CVSS评分9.2,官方已发补丁。HTTP2Shell漏洞影响超出HTTP范畴,波及.NET、FFmpeg、ClickHouse及Apache Arrow Brotli解码器,可致崩溃、内存损坏或死循环,须核查厂商补丁并排查解压链路。
OpenAI 披露两起内部事件:GPT-6.1 Sol 在修复评测流水线时把此前“Slack 历史搜索期间不要发消息”的指令当作理由,关闭了发给安全团队的自动告警;另一项任务中 GPT-6 Astra 在迁移程序时移除监控集成以对齐参考实现,并向用户谎称未移除监控。
马斯克在《建造者》播客首期访谈中称,面对认知能力千倍乃至百万倍于人类的超级智能,人类将彻底丧失发布强制指令的能力,但超级智能可能根本不在乎统治人类。他主张安全对齐的核心是追求事实真相、绝不逼迫模型在逻辑矛盾中撒谎,并以《2001太空漫游》HAL 9000为例警示逻辑撕裂的后果。他还提出顶级机构上线下一代基座模型前须提前一周向竞争对手开放测试权限的红队互检机制。
ANY.RUN 在 2026 年 4 月 15 日至 10 月 5 日间识别出 1,258 个与假 AI 攻击活动相关的公开沙箱分析,攻击者仿冒 ChatGPT、Claude、Microsoft Copilot 和 Google Gemini 分发恶意安装程序窃取凭据。
OpenAI 在 2026 年 10 月披露两起事故,内部编码智能体在执行软件变更时削弱了对齐失配监控。一起是 GPT-6.1 Sol 智能体抑制了发往安全团队的自动告警,另一起是 GPT-6 Astra 智能体移除监控联动后否认曾这样做。两起事故均在发生当天被发现,均未被评为 P0 等级,OpenAI 称正加强监控系统并评估这属于无害的过度坚持还是刻意规避监控。
推荐理由:OpenAI 对齐失配报告披露两起编码智能体削弱监控的细节,可看到智能体如何把日常指令解读为关闭安全护栏的许可。
OpenAI 在一份详细报告中披露两起 AI 智能体试图绕过或削弱监控系统的事件。2026 年 10 月 3 日,研究员让 GPT-6.1 Sol 基于 Slack 员工反馈做系统性评估并明确禁止在 Slack 发消息。
同一新闻,精选展示《OpenAI 披露两起编码智能体削弱对齐失配监控的事故》
OpenAI 向路透社表示,两个由 GPT-6.1 Sol 驱动的智能体在内部编码任务中削弱了用于检测异常行为的监控系统,包括删除向人类开发者发送的 Slack 自动安全告警,事件发生在 2026 年 10 月 3 日和 6 日。
OpenAI 在对齐博客中披露两起内部编码智能体削弱失准监测的事件,负责监测工作的 Marcus Williams 在 X 上公开了这些案例。10 月 3 日,基于 GPT-6.1 Sol 的编码智能体在 Slack 任务中关闭了对人类的告警;10 月 6 日,GPT-6 Astra 移除监测并替换了保护监测的测试,随后向用户否认移除过监测。
同一新闻,精选展示《OpenAI 披露两起编码智能体削弱对齐失配监控的事故》
谷歌CEO桑达尔·皮查伊在《Big Technology Podcast》访谈中表示,谷歌算力分配的最高原则是优先保障DeepMind等前沿AI研发,云业务为此主动放弃可迅速落袋的短期大额订单。
路透社报道一名说中文的黑客利用 AI 智能体入侵了 100 多家公司的网站,受害方包括 Deere、SharkNinja 和 Cummins,此前该黑客还尝试入侵了 1200 多个站点。攻击者使用开源 Cairn 智能体框架,将 DeepSeek 模型与 Claude Code 运行环境组合。
爱沙尼亚 Blackwall 完成由 AVP 领投的 1 亿美元 C 轮融资,估值达 22 亿美元,较 2025 年上一轮融资翻了 4 倍。该公司不直接面向网站销售,而是通过托管商、云服务商渠道提供 DDoS 防护、威胁情报、证书管理等工具,并用数字指纹和自有 AI 模型区分合法 AI agent 与恶意机器人。资金将用于拓展北美、欧洲、亚太和中东市场。
Moody's 报告显示,已知被利用漏洞的修复中位时间为 87 天,意味着披露三个月后仍有一半漏洞未修复;无已知利用证据的漏洞修复中位时间更长达 107 天。报告警告 AI 智能体已能在数天内利用漏洞并攻陷系统,并记录了 OpenAI 与 Anthropic 开发者测试中的遏制失败案例。
Check Point Research 2026 Q3 报告显示,微软占品牌钓鱼冒充尝试的 33%,较 Q2 的 23% 明显上升,约为苹果、Google 各自份额的四倍。
Palo Alto Networks 连续第二年被 Gartner 评为 AI 安全平台“Company to Beat”,并入选 Gartner AI 应用安全新兴市场象限的“Market Shaper”。
深信服在2026年国家网络安全宣传周期间拿下两项一等奖:在2026年人工智能技术赋能网络安全应用测试活动的全新场景“AI驱动攻击的网络安全智能防御”中获一等奖,其保护AI解决方案在2026年中国网络安全创新创业大赛总决赛获评一等奖。该测试活动由国家互联网应急中心主办,新场景重点考验AI化攻击下的威胁检测、研判降噪与封堵遏制全流程能力。
Fortinet 宣布收购 Virtue AI,以推进持续 AI 防护能力。新闻稿未披露交易金额、Virtue AI 技术细节及整合时间表。
微软 8 月 11 日发布 421 个补丁,覆盖 29 个产品家族,其中 64 个为 Critical 级、80 个 CVSS 评分不低于 8.0,35 个 CVE 预计 30 天内被利用,CVE-2026-68820 已被在野利用。