PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 25 条 · 更新于 15:33
安全paper推荐指数7272 arXiv推荐指数6262 TG-CI：面向多智能体工作流的任务图上下文完整性形式化与评测集
论文提出 Task-Graph Contextual Integrity（TG-CI），据作者所知是首个面向多智能体系统的任务图原生上下文完整性形式化，将工作流建模为 Multi-Agent Task Graph（MATG），把 CI 从原子信息传递扩展到有状态的图级信息流，同时考虑条目的预期传播范围与接收方不断变化的披露状态。
arXiv推荐指数4040 CALM：面向长周期语言智能体的冲突感知生命周期记忆治理框架
CALM 提出一种冲突感知的生命周期记忆治理框架，将持久记忆保存与查询时准入解耦，把异构记录转换为基于证据的记忆单元，并依据支持、冲突与依赖信号更新有效性与生命周期状态。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数4444 CASEL：面向后果感知的工具调用 Agent 运行时选择性执行层
CASEL（Consequence-Aware Selective Execution Layer）提出一种模型无关的运行时分配策略，为工具调用 Agent 的每次工具调用在直接执行、验证、沙箱、澄清、审批和弃权之间选择，综合校准失败概率、状态相关后果、可逆性、歧义与证据新鲜度。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
arXiv推荐指数7676 MCP-Injector 论文揭示工具调用 Agent 在真实 MCP 故障下的脆弱性，规模不提升容错
论文提出 MCP-Injector，一个协议感知的故障注入中间件，可插入 MCP 工具调用路径并注入永久、瞬时、间歇三类故障，其故障模型基于 1,774 个开源 MCP 仓库的 57,240 条 issue 与 PR 讨论校准。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
arXiv推荐指数4747 SYNAPSE：将工具使用经验作为独立字段评分，保护 Agent 工具池中未使用工具的检索
arXiv 论文提出 SYNAPSE 方法，将工具使用经验作为独立字段评分，在 Agent 共享工具池中保护未使用工具的检索效果。在 StableToolBench 上，SYNAPSE 使未使用工具的 Hit@5 达到 0.785，高于为使用经验预留槽位的 router（0.683），且在三个工具目录、两种 embedder 下均保持领先。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。