PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 28 条 · 更新于 15:30
安全paper推荐指数7272 arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数2222 MASAR：面向电信网络的多阶段攻击面分析与推理框架
论文提出 MASAR 形式化框架，用战略威胁映射、基于 DAG 的逻辑攻击路径分解和 TTP 运营合成三层结构，弥合 STRIDE 架构威胁建模与 MITRE FiGHT 运营知识库之间的差距。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数6666 Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行
论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。