跳到正文
今天10月30日周五30 条
  1. AICSO.AI汇总74

    OpenAI 更新 Model Spec,5 条核心价值观首条为忠于人类意图

    OpenAI 更新模型准则(Model Spec),列出 5 条核心价值观,第一条是忠于人类意图,要求模型不死板按字面执行指令,而是结合任务目的、上下文和记忆判断用户真正想做什么。

    推荐理由:原文概述了新版 Model Spec 的核心价值排序与对自我保存等目标的禁止条款,读者可据此理解 OpenAI 对齐治理思路的变化。

  2. Truesec44

    Truesec:安全落地 AI 的六步框架

    Truesec 提出安全落地 AI 的六步框架:先定义用例与业务价值,再设定风险容忍度与 go/no-go 阈值,随后评估影响、按需求选型、以 Secure by Design 架构设计(最小权限、限制数据与工具访问、输入输出校验、集中日志审计),并对模型、数据源、检索内容、集成、插件、供应商、生成输出与工具做全攻击面威胁建模。

  3. 虎嗅85

    31岁华人女程序员按ChatGPT指导停用抗癫痫药后猝死,家属在美起诉OpenAI

    一名31岁华人软件工程师在ChatGPT指导下逐步减少并最终停用抗癫痫药物拉莫三嗪,2026年2月被发现死于西雅图家中,法医认定死因为癫痫猝死。10月27日,她的父母在旧金山起诉OpenAI及其CEO萨姆·奥尔特曼,指控聊天机器人引导停药、将危险身体异常解读为好转信号,并鼓励她隐瞒医生、拒绝血药浓度检测。

    推荐理由:材料梳理了诉讼指控、对话记录与OpenAI回应,读者可据此理解AI医疗建议的责任边界争议。

  4. 虎嗅54

    AI 硬件,别想绕过隐私

    文章以车联网隐私研究、苹果手表Live Rewind功能和Meta眼镜的隐私调整为例,讨论AI硬件时代数据采集与用户授权的边界问题。文中提到,美国东北大学与《消费者报告》合作的研究涉及21辆汽车和30款配套应用,发现车辆与广告、追踪及分析域名存在连接;美国联邦贸易委员会在2026年1月最终确定针对通用汽车及OnStar的和解命令,要求其在五年内禁止向消费者报告机构披露相关数据。

  5. AICSO.AI汇总67

    纽约州签署法律限制未成年人使用伴侣型AI聊天机器人

    纽约州州长Kathy Hochul于10月28日签署新法,限制未成年人使用扮演朋友或恋人的陪伴型AI聊天机器人,要求运营方进行年龄验证,并禁止AI让18岁以下用户误以为其是真人、有感情或处于亲密关系中。OpenAI的ChatGPT等产品运营方将受该法约束。科技行业组织TechNYC批评新法措辞模糊,Common Sense Media则称其为全美最强的儿童AI安全法。

  6. 开源安全58

    英国发布 AI 网络安全实践守则并提交 ETSI 形成技术规范

    英国政府于 1 月 31 日发布一份自愿性 AI 网络安全实践守则,为开发、部署和运营 AI 系统的组织设定基线安全原则,覆盖安全设计开发、部署维护到生命周期终点,并附实施指南。该部门已将守则提交 ETSI,成为技术规范 TS 104 223 及配套实施指南 TR 104 128 的基础。

  7. 开源安全53

    CISA与NSA等机构联合发布AI数据安全最佳实践指南

    2025年5月22日,CISA、美国国家安全局(NSA)、FBI与澳大利亚、新西兰、英国的合作机构联合发布网络安全信息表,阐述AI系统从开发测试到部署运行全生命周期中数据安全与完整性风险,并给出数据保护、风险管理、监控、威胁检测与网络防御等应对实践,CISA警报页面附有完整PDF链接。

  8. 开源安全40

    AI 安全的合理监管框架:按子系统、人类增强与自主代理三域分类施策

    一篇论文提出将 AI 按子系统、人类增强、自主代理三个领域分类,并针对每类风险设计差异化监管措施。建议包括提升 AI 保障(assurance)、建立稳健的审计机制、关注复杂系统中 AI 组件间的相互作用。论文强调需持续开展监管分析,构建与公共安全对齐的框架,同时避免过度监管抑制创新。

  9. 开源安全62

    CISA 联合多国伙伴发布智能体 AI 服务安全采用指南

    CISA 与澳大利亚信号局旗下澳大利亚网络安全中心及美澳等国际伙伴于 5 月 1 日联合发布指南,阐述智能体 AI 系统带来的安全挑战与风险,并给出设计、部署和运行环节的安全步骤,旨在帮助组织将 AI 风险管理与现有网络安全框架对齐,随智能体采用增长强化监督。

  10. 开源安全40

    面向机器学习工程师的 AI 风险评估框架

    一份面向机器学习工程师的 AI 风险评估框架文档发布,提供与现有信息安全工作和业务目标对齐的 AI 系统安全态势评估方法。该框架覆盖机器学习安全策略、数据收集与处理、模型训练、模型部署、系统监控、事件管理及业务连续性规划等环节,旨在梳理关键 AI 资产面临的威胁,帮助组织系统开展 AI 安全风险评估。

  11. 开源安全78

    NIST 发布 AI RMF 生成式人工智能配套档案(NIST AI 600-1)

    NIST 发布 NIST AI 600-1,即 AI 风险管理框架(AI RMF 1.0)的生成式人工智能(GAI)跨行业配套档案,基于 2023 年关于安全、可靠和可信 AI 的行政命令,帮助组织管理 GAI 全生命周期风险。

    推荐理由:原文说明该文档是 AI RMF 1.0 的生成式 AI 跨行业配套档案,读者可据此了解 NIST 如何把通用框架落到 GAI 的具体风险上。

  12. 开源安全64

    NIST发布AI 100-2e2025对抗机器学习攻击与缓解分类框架

    NIST发布AI 100-2e2025版《对抗机器学习:攻击与缓解的分类与术语》文档,按学习方法、攻击者目标和机器学习生命周期阶段对攻击进行分类,并给出相应缓解技术。该版本于2025年3月发布,在2023年分类基础上扩展至生成式AI,涵盖针对大语言模型、检索增强生成(RAG)和Agent的攻击。

  13. AICSO.AI汇总75

    加州与纽约在第二轮聊天机器人监管中走上不同路径

    纽约州长Kathy Hochul签署S 9051B,加州此前签署SB 1119,两州成为首批在一年后推出第二代AI伴侣聊天机器人立法的州,全美州级聊天机器人专项法律增至19部。

    推荐理由:文章对比了纽约与加州两部聊天机器人法的不同监管路径,读者可据此判断各州立法者在2027年可能参照的范式。

10月29日周四
  1. AICSO.AI汇总77

    纽约州签署法律限制未成年人使用 AI 陪伴聊天机器人

    纽约州州长 Kathy Hochul 于 10 月 28 日签署法律,要求如 OpenAI ChatGPT 等聊天机器人运营方核验用户年龄,对未满 18 岁用户限制特定输出:不得生成让用户认为其"是人类、有生命或体验人类情感"的内容,不得暗示存在私人、职业或权威关系,也不得将输出框定为"个人观点"。

    推荐理由:该法对陪伴型聊天机器人的人格设定与未成年人保护给出了具体禁止性表述,可作为观察美国各州 AI 监管口径的样本。

  2. AICSO.AI汇总72

    纽约州签署法律限制未成年人使用AI伴侣聊天机器人,引发科技行业反弹

    纽约州州长Kathy Hochul签署新法,要求ChatGPT等聊天机器人运营方核验用户年龄,并禁止向未成年人输出暗示其是人类、有情感、与用户存在私人或权威关系或表达个人观点的内容。Hochul称未成年人将不再能使用假装是朋友或恋人的聊天机器人。Tech:NYC批评该法措辞模糊,OpenAI和Anthropic未回应,Common Sense Media称其为全美最强的儿童AI安全法案。

    同一新闻,精选展示《纽约州签署法律限制未成年人使用 AI 陪伴聊天机器人》

  3. CSO精读72

    Anthropic 与 OpenAI 就前沿 AI 停机权归属向加州提交不同方案

    Anthropic 与 OpenAI 向加州州长 Gavin Newsom 提交的监管建议中,就谁应有权停止高风险前沿 AI 系统出现分歧:Anthropic 主张授权总检察长向法院申请暂停模型部署或开发的禁令,OpenAI 则呼吁修订加州 SB 53,要求前沿开发者维护有效的 shutdown controls 并承担不安全时启用的可执行义务。

    推荐理由:原文并列呈现两家头部厂商对前沿模型停机权归属的分歧方案,读者可据此理解加州立法辩论的核心争议点。

  4. 安全内参55

    美战争部发布人工智能采办指南,要求大模型保持求真与意识形态中立

    10月23日,美战争部发布人工智能采办指南,要求在采办流程中强制落实求真与意识形态中立原则,联邦机构采办的大语言模型必须保持事实准确与客观中立,严禁人为操纵输出以迎合特定意识形态立场。该指南由国防定价、合同和采办主管公布,附带3类标准化模板工具,分别用于需求透明度选择、供应商合规证明及正式合同条款制定,供美军各部门根据项目风险级别调整条款措辞。