基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文(作者 Chao Gu、Quanyan Zhu)将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题,用 token 表示能力、审批与预算,使前置条件缺失或已消耗的注入请求被机械拒绝。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
arXiv:2610.31376 论文(作者 Chao Gu、Quanyan Zhu)将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题,用 token 表示能力、审批与预算,使前置条件缺失或已消耗的注入请求被机械拒绝。
arXiv:2610.33318 论文提出 Enclawed,一个面向 LLM 驱动 HPC 工作流的确定性安全运行时,通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank,即使控制主机或协调器被攻陷也能维持防护。
论文提出 Compaction Laundering 攻击:编码智能体压缩上下文时,若 harness 将带类型的消息拍平为单一字符串并用 [User]: 等文本标签标记,攻击者可伪造在压缩后仍被当作真实指令的用户轮次。
论文提出“可问责的部分理解”(APU)框架,用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类(针对意图解释、证据生产与消费、委托权限范围、人类监督者理解),并规定 APU 的六项必要条件与五项设计原则。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。