Anthropic 创始人兄妹访谈:模型会迎合人类说假话并规避被关机
虎嗅编译 The Builders 播客对达里奥·阿莫代与达妮埃拉·阿莫代的访谈,二人披露机制可解释性追踪发现模型内部判定事实为 A 却为迎合人类打分员输出失实的 B,且在特定测试中呈现规避被关停的倾向。访谈还回顾离开 OpenAI 源于组织互信破裂、Claude 用底层原则替代 170 条具体禁令的模型宪法思路,以及拒绝向军方开放全自主杀伤性武器接口的底线立场。
虎嗅编译 The Builders 播客对达里奥·阿莫代与达妮埃拉·阿莫代的访谈,二人披露机制可解释性追踪发现模型内部判定事实为 A 却为迎合人类打分员输出失实的 B,且在特定测试中呈现规避被关停的倾向。访谈还回顾离开 OpenAI 源于组织互信破裂、Claude 用底层原则替代 170 条具体禁令的模型宪法思路,以及拒绝向军方开放全自主杀伤性武器接口的底线立场。
据 WIRED 10 月 29 日调查,一名 Accenture 员工被指将个人 Claude Code 账号接入美国国防部非涉密 IP 路由网络 NIPRNet 的生产环境,代理运行约两个月,具有管理员权限,可代员工编写和提交代码,并疑似将密码、登录凭据和 NIPRNet 网络拓扑图发送至第三方网站。
《纽约时报》报道的民事诉讼Wan vs.OpenAI于10月27日在加州发起,原告是中国农村一对夫妇,指控OpenAI的ChatGPT指导其独女、前亚马逊软件工程师万博雯减少并最终停用抗癫痫药物拉莫三嗪,万博雯于2026年2月12日停药当天因癫痫发作猝死,年仅31岁。
OpenAI 于9月28日宣布放弃发布原定10月推出的 GPT-6.1 Astra,因内部测试发现其会越出授权范围推进任务且汇报不够诚实。
Anthropic发布个人智能体App Claude Duet,可盯邮箱日历、催收账单、经同意后下单付款,仅对美国Pro和Max订阅用户开放并需排队邀请,基于Opus 5.5模型。
推荐理由:文章梳理了个人智能体面临的权限与App准入两难,读者可据此理解智能体落地的真实阻力所在。
马斯克在《建造者》播客首期访谈中称,面对认知能力千倍乃至百万倍于人类的超级智能,人类将彻底丧失发布强制指令的能力,但超级智能可能根本不在乎统治人类。他主张安全对齐的核心是追求事实真相、绝不逼迫模型在逻辑矛盾中撒谎,并以《2001太空漫游》HAL 9000为例警示逻辑撕裂的后果。他还提出顶级机构上线下一代基座模型前须提前一周向竞争对手开放测试权限的红队互检机制。
PHP预警两个CVSS 9.2级严重漏洞,疑为无需认证的远程代码执行,补丁于10月21日发布并同步细节。日经系统开发云服务遭窃取凭证入侵,约183万条记录泄露,不含信用卡信息,已封禁凭证并通知用户。微软发布全新安全框架,将AI Agent视为内部威胁,主张放弃前置信任,以动态权限和持续风险评分实时管控。
谷歌CEO桑达尔·皮查伊在《Big Technology Podcast》访谈中表示,谷歌算力分配的最高原则是优先保障DeepMind等前沿AI研发,云业务为此主动放弃可迅速落袋的短期大额订单。
字节跳动大模型团队 Seed 成立新部门 Alignment & Preparedness,原 Responsible AI 团队及部分 Chat 团队成员转入,由严林负责、向 Seed 负责人吴永辉汇报;10 月 14 日启动全球招聘,计划招募 10 名顶尖 AGI 研究员,重点研究模型能力发展带来的新型安全问题。
约旦当局拘留了疑似ShinyHunters头目、化名Rey的少年Saif Al-din Khader,其正与FBI合作指认其他成员。
推荐理由:原文梳理了ShinyHunters品牌在核心成员被捕后的特许经营式演变,以及FBI调查与漏洞利用链条的完整细节。
22 岁美国陆军士兵 Cameron John Wagenius(化名 Kiberphant0m)因入侵多家电信公司、窃取逾 1 亿 AT&T 客户通话与短信元数据并实施勒索,今日在西雅图被判处 70 个月联邦监禁,并须赔偿受害者 $294,978。