REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 25 条 · 更新于 15:30
安全paper推荐指数6666 安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6060 InferD：面向 AI 推理基础设施的蜜罐框架论文（AISec Workshop '26 / ACM CCS 2026）
论文提出 InferD，一个面向 AI 推理基础设施的低交互蜜罐框架，被 AISec Workshop '26（ACM CCS 2026，海牙）接收。作者指出大语言模型服务栈、商用推理 API、向量数据库和 Agent 编排网关部署后数小时内即被通用扫描器暴露在公网，而现有蜜罐框架面向传统网络服务，无法测量该攻击面。
arXiv推荐指数6767 Tracekit Box 论文：在 Firecracker micro-VM 中运行 AI Agent 并对每次出口决策签名
arXiv 论文提出 Tracekit Box，一个 MIT 许可的开源系统（v0），让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡，所有出口（命令、外连、密钥、模型调用、工作区补丁）都经 vsock 走宿主机上的签名器，由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
安全向导推荐指数6262 英国 NCSC 发布 Agentic AI 网络风险管理临时指南
英国国家网络安全中心（NCSC）于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议，提出七项实操考量：识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中，届时将取代这份临时建议。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数4444 CASEL：面向后果感知的工具调用 Agent 运行时选择性执行层
CASEL（Consequence-Aware Selective Execution Layer）提出一种模型无关的运行时分配策略，为工具调用 Agent 的每次工具调用在直接执行、验证、沙箱、澄清、审批和弃权之间选择，综合校准失败概率、状态相关后果、可逆性、歧义与证据新鲜度。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数6666 Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行
论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。
安全paper推荐指数4747 PROVISO：面向安全 LLM Agent 的溯源感知动作选择控制器
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器，用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出，并在提交前将提议动作与备选动作进行对比。
ShortSpan推荐指数7676 PAGE404 论文揭示 Grace Hopper 页面迁移跨 MIG 分区信息泄露
论文 PAGE404: Breaking GPU Isolation Through Hardware-assisted Page Migration（作者 Ravan Nazaraliyev。