REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 52 条 · 更新于 15:35
安全paper推荐指数6666 安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数3333 Omission-Safe Conditional Contracts for Evidence-Closed CI Qualification：面向证据封闭 CI 认证的遗漏安全条件契约
arXiv 论文提出一种遗漏安全的条件契约方法，将 pinned workflow 编译为独立于目标存在的条件 job 要求，并用独立实现校验 source-complete derivation certificates。
arXiv推荐指数5151 arXiv 论文提出 Agentic Process Evidence 协议，为 AI 编码智能体提供可追溯的签名证据
论文提出 Agentic Process Evidence（APE），一种对智能体过程进行签名、防篡改、机器可读的证明机制，将智能体会话与其产出结果关联（process-aware logging），以应对 AI 编码智能体在 SDLC 中带来的供应链风险、策略护栏与任务对齐三类问题。
arXiv推荐指数6060 InferD：面向 AI 推理基础设施的蜜罐框架论文（AISec Workshop '26 / ACM CCS 2026）
论文提出 InferD，一个面向 AI 推理基础设施的低交互蜜罐框架，被 AISec Workshop '26（ACM CCS 2026，海牙）接收。作者指出大语言模型服务栈、商用推理 API、向量数据库和 Agent 编排网关部署后数小时内即被通用扫描器暴露在公网，而现有蜜罐框架面向传统网络服务，无法测量该攻击面。
arXiv推荐指数3838 Splicer：基于 WebAssembly 组件的可移植、沙箱化插桩框架
Splicer 是一个 WebAssembly 组件插桩框架，通过组件互操作机制提供语义丰富的应用层类型、支持可插拔工具链，并将每个工具限制在显式授权的沙箱中运行，以解决跨语言、跨运行时插桩工具在类型层级、可组合性、功能碎片化与权限控制上的割裂问题。作者在一组基准测试上评估了 Splicer，验证了用多种源语言编写的非平凡工具的可插拔性及其性能表现。
arXiv推荐指数6767 Tracekit Box 论文：在 Firecracker micro-VM 中运行 AI Agent 并对每次出口决策签名
arXiv 论文提出 Tracekit Box，一个 MIT 许可的开源系统（v0），让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡，所有出口（命令、外连、密钥、模型调用、工作区补丁）都经 vsock 走宿主机上的签名器，由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
arXiv推荐指数6868 WebMaze：以功能耦合诱饵将 LLM Web 扫描器引入诱饵世界
arXiv 论文提出 WebMaze 防御方法，在不改变真实应用功能的前提下，将基于 LLM 的恶意 Web 扫描器引向生成的诱饵世界。作者系统研究了六个 LLM 扫描器如何收集信息并基于观察迭代选择动作，在真实页面中嵌入功能耦合陷阱，并从应用现有视图构建视图定制的交互式诱饵世界。
arXiv推荐指数3838 STAR：基于 TEE 的可扩展匿名速率限制器
STAR 利用服务端可信执行环境（TEE）实现可扩展的匿名速率限制，在抵御 TLS/HTTP 洪水攻击的同时保护用户隐私，无需假设服务方与权威机构不串通。针对恶意服务通过内存访问模式推断用户密钥的威胁，STAR 采用针对密钥相关内存访问的反制措施并以动态分析评估实现，另设计安全分片机制分发客户端请求。
安全向导推荐指数6262 英国 NCSC 发布 Agentic AI 网络风险管理临时指南
英国国家网络安全中心（NCSC）于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议，提出七项实操考量：识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中，届时将取代这份临时建议。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数6262 ADLER：面向流式 LLM API 的私有文档问答解码协议，用泄露账本约束答案披露
论文提出 ADLER，一种面向流式 LLM API 的解码协议，用于本地小模型与云端 LLM 协同回答私有文档问题时的隐私保护。研究发现，投机解码中私有草稿虽未在答案中出现，却会作为被拒绝的草稿发送给云端，从而泄露私有内容。
arXiv推荐指数4141 SecDMP：可证明安全的数据内存依赖预取防御（NDSS 2027 扩展版）
SecDMP 提出一种可证明安全的硬件防御，要求在内存中标记机密数据，确保数据内存依赖预取器（DMP）永不将这些机密编码进微架构，且不牺牲公开数据的性能。论文形式化证明 SecDMP 不引入超出无 DMP 基线语义的泄漏，与推测执行防御结合可为 constant-time 代码恢复完整的微架构安全。
arXiv推荐指数3535 基于 DIO/ODI 的 Agentic Entity Resolution 授权护栏：约束提交边界
arXiv 论文提出一种基于 Digital Identity Optimization（DIO）与 Ontology of Digital Identity（ODI）的授权护栏规范，为 Agentic Entity Resolution 系统在证据推理与持久化身份变更提交之间划定授权边界。
arXiv推荐指数4545 HqcLethe：面向无状态小型服务器的 HQC 流式封装
HqcLethe 提出一种无状态密钥交换方案，以流式方式将 HQC 封装按包大小切分发送，用中国剩余定理把多项式乘法拆成每包独立的余数并加掩码，其安全性在 Rocq 中用 SSProve 证明，并用 ProVerif 验证会话保密、服务器认证与前向保密。
arXiv推荐指数4444 CASEL：面向后果感知的工具调用 Agent 运行时选择性执行层
CASEL（Consequence-Aware Selective Execution Layer）提出一种模型无关的运行时分配策略，为工具调用 Agent 的每次工具调用在直接执行、验证、沙箱、澄清、审批和弃权之间选择，综合校准失败概率、状态相关后果、可逆性、歧义与证据新鲜度。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
arXiv推荐指数3838 When Human Corrections Travel：联邦 VLA 适配中的安全问题
arXiv 论文《When Human Corrections Travel》探讨联邦学习与视觉-语言-动作（VLA）策略结合时的安全问题，指出跨任务、环境、人员和机器人本体共享人类纠正产生的适配更新，可能提升平均任务成功率却压制罕见安全干预或在其他机器人上产生不安全响应。
arXiv推荐指数4545 PPFLex：基于 MPC 的联邦学习隐私保护方法，抵御梯度引导矩阵标签推断攻击
研究发现，梯度引导的联邦学习优化方法共享的引导矩阵存在隐私漏洞，恶意服务器在 Dirichlet 标签分布下可从共享矩阵推断客户端标签集，准确率达 50% 至 84%。
安全paper推荐指数6060 基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文（作者 Chao Gu、Quanyan Zhu）将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题，用 token 表示能力、审批与预算，使前置条件缺失或已消耗的注入请求被机械拒绝。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
arXiv推荐指数4747 超级智能软件工程：随能力扩展的治理（OSTEON）
arXiv 论文提出"超级智能软件工程"（OSTEON）框架，主张当软件 Agent 能力超越人类工程师时，治理（门控、契约、决策与知识衰减控制）必须随能力同步扩展，否则仅靠能力无法保证软件正确性。
arXiv推荐指数5454 AI辅助敏捷软件工程经验报告：代码变廉价后评测成为瓶颈
一篇 arXiv 经验报告记录了单名开发者全程零手写代码、在三个工作日内构建并部署一套合规关键、人在环路的考试评分系统的过程。作者提出核心论点：AI 对软件工程的改变不在于让编程更快，而在于改变了稀缺资源——写代码变得充裕，而可靠评测与工程判断成为约束迭代的瓶颈。
arXiv推荐指数4343 Beyond Policy Engines：绑定完备的执行准入（BCEAC）框架
arXiv 论文提出 Binding-Complete Execution Admission Contract（BCEAC），指出策略引擎给出 ALLOW 决定并不等于治理来源完整参与、上下文精确绑定或具备执行准入依据，并将治理解析、策略评估、独立准入校验与下游执行中介分离。
arXiv推荐指数8686 arXiv 论文揭示编码智能体上下文压缩中的来源伪造攻击 Compaction Laundering
论文提出 Compaction Laundering 攻击：编码智能体压缩上下文时，若 harness 将带类型的消息拍平为单一字符串并用 [User]: 等文本标签标记，攻击者可伪造在压缩后仍被当作真实指令的用户轮次。
arXiv推荐指数4040 GhostFaceMPC：基于 MPC 的隐私保护人脸识别系统
GhostFaceMPC 是首个在安全多方计算（MPC）下完成深度卷积神经网络特征提取与匹配的端到端隐私保护人脸识别系统，全程不暴露原始图像或生物特征嵌入。论文提出面向 MPC 的 GhostFaceNet 量化方案与电路优化，使 MPC 下的人脸识别具备实用性，代码已开源。
arXiv推荐指数7070 GUI Agent 成功自述泄漏研究：ICSE 2027 论文提出报告隔离审计器
论文提出 report-trace auditing，用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致，并定义了轨迹无法支撑的危险误报（dangerous misreport）。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
arXiv推荐指数4141 RegretBench 与 BackUpper：编码 Agent 备份意识评测与自动备份方案
研究团队提出 RegretBench，用 205 个可执行任务评测编码 Agent 的备份意识：六个前沿模型平均完成任务率 86.1%，但在需要备份的关键时刻仅 15.2% 会提前保存状态。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数2222 DISTA-LP：面向度量差分隐私的隐私保护分布式线性规划框架
DISTA-LP 是一个面向度量差分隐私（mDP）的隐私保护分布式优化框架，用紧凑的替代参数化取代原始 LP 系数矩阵上传，仅发布经校准扰动的参数向量，从而降低上传阶段的泄露与问题维度。
arXiv推荐指数2424 基于分层 DNA 密钥管理的安全多模态联邦优化框架
该论文提出一种安全多模态联邦优化框架，将本地数据保护与联邦更新保护分离：可信密钥管理方通过 HPKE 下发单一客户端密钥，客户端再用基于 HMAC 的 HKDF 本地派生各模态专属对称密钥。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。