AI 系统安全风险概览:规避攻击、信息提取与后门攻击
一篇面向开发者的指南梳理了 AI 系统面临的核心安全威胁,重点覆盖规避攻击(evasion attacks)、信息提取(information extraction)与后门攻击(backdoor attacks)三类攻击及相应防御手段。指南强调在医疗、自动驾驶等关键领域使用预训练模型或公开数据集时,需重视系统设计安全以抵御恶意操纵,并明确其定位为初步指引而非穷尽性文档。
一篇面向开发者的指南梳理了 AI 系统面临的核心安全威胁,重点覆盖规避攻击(evasion attacks)、信息提取(information extraction)与后门攻击(backdoor attacks)三类攻击及相应防御手段。指南强调在医疗、自动驾驶等关键领域使用预训练模型或公开数据集时,需重视系统设计安全以抵御恶意操纵,并明确其定位为初步指引而非穷尽性文档。
Cloud Security Alliance(CSA)发布 AI Controls Matrix,采用与 Cloud Controls Matrix 相同的结构,提供控制项清单、实施指导以及与其他标准的映射,面向评估 AI 部署而非推理分析。
MITRE ATLAS 发布 AI 保障框架,提出一套覆盖 AI 系统全生命周期风险管理的可重复工程流程,整合风险管理实践以保障系统在安全、安全防护、隐私等关键信任因素下的有效运行。该框架通过详细的保障计划,涵盖系统特征化、风险发现与评估等环节,可适配不同行业,并借助真实世界试点研究验证其适用性,同时推动面向特定领域的行业定制化解决方案。
OWASP 发布 Agentic AI 威胁与缓解参考指南,梳理模型具备规划、记忆与工具调用能力后新增的攻击面,涵盖目标操纵、委派权限滥用以及 Agent 间信任三类威胁,并为每类威胁配套给出缓解措施。该指南面向构建和部署 Agentic 系统的开发者与安全团队,可作为威胁建模与防护设计的参考。
CREST 于 10 月 29 日发布白皮书《Cyber Resilience in Financial Services: A Whole Ecosystem Approach》,主张金融网络韧性应由机构、监管方与网络安全服务商共同承担,而非仅靠单家机构。
SecWiki 发布 2026-10-28 期安全资讯回顾,汇总近期网络安全动态,涵盖《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 萃取网络协议格式规范)。
SecWiki 发布 2026-10-27 期安全资讯周报,收录《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 萃取网络协议格式规范)。
2026 年机密计算平台排名中,Microsoft Azure 以 9.0 分位居第一,AWS(Nitro Enclaves)和 Google Cloud 分别以 8.7 分和 8.6 分位列第二、三名。
SecWiki 发布 2026-10-25 期新闻回顾,汇总近期安全资讯与资源,涵盖《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 萃取网络协议格式规范)。
SecWiki 发布 2026-10-24 期新闻回顾,收录《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 中萃取网络协议格式规范)、AgentMirror(针对红队渗透智能体蜜罐)、JGD(面向 Java 反序列化 Gadget Chain 的自主挖掘 Agent)等条目。
SecWiki 发布 2026-10-23 期周报,收录《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 萃取网络协议格式规范)、玉衡防护盾(下一代智能应用防火墙)。
SecWiki 发布 2026-10-22 期周报,收录《网络安全威胁2026年中报告》、SPAR(用对抗式 LLM 交互从 RFC 萃取网络协议格式规范)、AgentMirror(针对红队渗透智能体的蜜罐)。
Marvell、Microsoft 与 Oracle 正合作推动面向云与超大规模数据中心基础设施的 NIST FIPS 140-3 Level 3 集成 HSM 标准化。该工作旨在为数据中心硬件安全建立统一规范。
Workshop on Economics and Information Security (WEIS) 25年来的全部论文已整理成新档案库公开,Schneier 称其为优质资源,并提到重读自己2002年那篇信息安全经济学文章的乐趣。该档案覆盖信息安全经济学领域四分之一个世纪的研究积累,可供研究者检索与回顾。
2026 年 10 月 16 日,NIST 的 CAISSI、NSA 的 SISC 与 CISA 联合发布十项自愿性关键实践,用于超级智能(SI)训练与评估期间的事件准备与响应。文件引入“SI 控制事件”概念,指智能体在无人指示下采取重大行动、破坏运营方设置的控制,并将其与网络安全事件区分,同时定义了“SI 控制未遂”。
2026年10月15日,在2026人工智能产业大会上,由工业和信息化部网络安全管理局指导、中国人工智能产业发展联盟牵头、31家单位共同编制的《工业和信息化领域人工智能安全评测框架(2026版)》正式发布。
NSA、CISA 与 NIST 于 2026 年 10 月 16 日发布联合安全指南,帮助组织检测、遏制并关停超出授权任务范围的 AI 智能体。这份自愿性指南提出十项实践,按准备、检测、响应、恢复和报告分组,面向在有限人工监督下训练或测试高能力智能体的组织,核心要求是保持人工监督。
推荐理由:这份自愿性指南把失控智能体定义为独立于攻击者指令的事件,并给出十项处置实践,可对照现有事件响应流程。
NIST 宣布支持白宫科技政策办公室主任 Michael Kratsios 发布的《Science: A New Golden Age》报告所确立的建议与原则,作为全政府计划的一部分,旨在通过加速科学发现、推动技术落地和重建工业基础来巩固美国在关键技术领域的主导地位。
NIST 与 CISA 最终发布 NIST IR 8587《Protecting Tokens and Assertions from Forgery, Theft, and Misuse》,为联邦机构与云服务提供商(CSP)提供令牌保护的实施指南,回应第 14306 号行政令的任务要求,并基于 SP 800-53 的近期更新。
Redwood Research 的 Ryan Greenblatt 发布提案,建议 AI 公司定期披露其架构是否可能支持潜在推理或潜在通信,以评估架构对思维链(CoT)可监控性的影响。
OWASP GenAI Security Project 宣布发布 Q2 2026 Updated Landscape Guide for LLM and Agentic Security,新增更新的厂商与工具生态文档以及新的 agentic 红队分类法,覆盖识别、度量、缓解和治理 AI 风险的全生命周期框架。
推荐理由:原文列出了新增的 Agentic 红队分类法和 MCP 安全指南等具体产出,读者可据此了解 OWASP 在 Agent 安全方向的框架布局。