英国 NCSC 发布 Agentic AI 网络风险管理临时指南
英国国家网络安全中心（NCSC）于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议，提出七项实操考量：识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中，届时将取代这份临时建议。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 5 条 · 更新于 08:16
安全向导推荐指数6262
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。