Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 241 条 · 更新于 15:39
安全paper推荐指数7676 安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
安全paper推荐指数7171 SEEK：面向科学Agent技能泄露的自进化黑盒红队方法
论文提出 SEEK（Skill Extraction with Evolving Knowledge），一个仅依赖用户可见响应的黑盒自进化红队Agent，用于从科学Agent平台提取可复用技能。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数2828 EVSEFuzz：面向 OCPP 协议实现的自动化模糊测试工具
EVSEFuzz 是一款自动化构建模糊测试器（fuzzer）以测试协议实现安全性的工具，利用 Python 数据类型校验包"理解"数据类型与消息结构，生成合规与非合规消息，已成功测试多个开源与闭源 OCPP 实现，发现多个漏洞并促成两个 CVE 发布。
arXiv推荐指数6464 arXiv论文量化LLM漏洞审计器对静态分析证据的非对称依赖
该论文研究LLM与静态分析结合的漏洞审计流水线中，模型是否会区分真假证据。作者构建了针对C/C++的过程内分析器，在PrimeVul数据集的916对函数上，用四种厂商的十一个模型配置共进行16,572次审计，仅改变证据注释内容。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数5858 SPOOK：用稀疏像素优化探测视觉编码器的流形外失效
arXiv 论文 SPOOK 提出在空白画布上用像素级爬山法做稀疏像素编辑，在黑盒设置下探测视觉编码器的表征几何。
arXiv推荐指数6060 StateMirror：执行前检测编码智能体幻觉工具调用
arXiv 论文提出 StateMirror，一种针对编码智能体幻觉工具调用的轻量级执行前检测器。研究对 4,398 条智能体轨迹的初步分析显示，这类幻觉普遍且代价高昂，恢复中位需额外 3 步交互和 22.4K tokens。
arXiv推荐指数3838 模型检查器辅助 LLM 的自动化多行 Bug 修复：RISC-V 处理器案例研究
一项案例研究提出结合 LLM、断言与模型检查器 JasperGold 的自动化 RTL Bug 修复方法，在 BRISC-V RISC-V 处理器上通过变异测试实现最高 98% 的单行 RTL Bug 修复率和 93% 的多行 Bug 修复率。
arXiv推荐指数5151 arXiv论文：AI编码智能体规则的六周案例研究，探讨规则与检查的持久性
论文报告了一项为期六周的案例研究，作者维护一个纯 Markdown 仓库，由三个 AI 编码智能体在共享规则集下每日编辑，记录了 118 条智能体失败及其修复与复发情况。
arXiv推荐指数4747 超越覆盖率与变异分数：LLM 生成单元测试的盲区分析（提出 BlindSpotEval 与 ObligBench）
arXiv 论文提出基于行为义务的 LLM 生成单元测试评估框架 BlindSpotEval，含 Boundary-Value Adequacy、Control-Flow Adequacy、Oracle Strength 三项指标，并发布 Java 基准 ObligBench（895 个复杂函数 + 700 个低复杂度函数）。
arXiv推荐指数4747 CONSTRAINTDIAL：通过协议变异终身构建智能合约安全任务
arXiv 论文提出 CONSTRAINTDIAL 框架，通过协议变异终身构建智能合约安全任务，从 203 个公开案例构造 3,045 个任务输入，覆盖 detect、exploit、patch 三类。
安全paper推荐指数6060 基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文（作者 Chao Gu、Quanyan Zhu）将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题，用 token 表示能力、审批与预算，使前置条件缺失或已消耗的注入请求被机械拒绝。
arXiv推荐指数6262 arXiv论文实证研究编码智能体CoT中的错误断言与错误补丁的因果关系
论文对SWE-bench Pro上四个开源推理模型的400条轨迹做实证研究，从思维链（CoT）中抽取原子断言并核验，发现任务相关推理仅覆盖18.5%的CoT token，每条轨迹平均产生191个原子断言，其中至少9.6%存在错误。
arXiv推荐指数5555 TNCS：面向代码模型的数据高效后门攻击方法
论文提出 Trigger-Neutralized Counterfactual Scoring（TNCS），通过对比触发输入与触发中和反事实输入下的评分模型输出，隔离触发器对目标行为的贡献，适用于分类与生成任务。
arXiv推荐指数5757 TokenTrap：通过放大 token 消耗反制 LLM 诈骗系统的防御方法
论文提出面向资源的防御方法 TokenTrap，将疑似 LLM 诈骗系统引导至良性低价值计算，同时扣留凭证、支付等可利用信息。TokenTrap 由架构特定的 token 任务库、在单 Agent、分层与扁平多 Agent 工作流间选择的路由器，以及带 token、轮次、时间与安全上限的反护栏策略组成。
arXiv推荐指数5757 AgentTriage：面向异构 Agent 运行时的可重放安全诊断契约
论文提出 AgentTriage，一个面向异构 Agent 运行时的可重放安全诊断契约，其结论必须引用规范化运行时事件，缺少必需证据时要求弃权。运行时 overlay 规范化原生观测，确定性流水线关联调用与结果生命周期、构建带类型的溯源图并绑定证据，使诊断可在不依赖语言模型判断的情况下重算复核。
arXiv推荐指数5555 MIG-COW：基于梯度分解的可迁移 Deepfake 检测器对抗攻击
论文提出对抗攻击框架 MIG-COW，通过动量积分梯度与共识正交分解结合，捕捉异构 CNN 与 ViT 检测器的共性与模型特有漏洞。在 AADD-2025 Challenge 基准上，MIG-COW 白盒攻击成功率达 99.96% 且 SSIM 感知相似度高，显著优于现有基线；但对官方黑盒目标的 ASR 仅为 7.16%，尽管总分最佳，仍凸显迁移性难题。
arXiv推荐指数5757 SecLog-Bench：面向网络安全日志推理的可扩展基准发布
SecLog-Bench 是一个面向 LLM 网络安全日志推理的可扩展基准，覆盖 29 个攻击场景，支持重复执行与新场景接入，可规模化生成带攻击阶段标签的安全日志。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
arXiv推荐指数5656 Social-HUMINT：用 LLM 多智能体流水线量化社交平台暴露度的统一框架
论文提出 Social-HUMINT 框架，将 SOCMINT 与 Cyber-HUMINT 统一为覆盖 Cyber Threat Intelligence 生命周期的 38 项能力分类法，领域专家验证 Fleiss' κ = 0.92。
arXiv推荐指数5555 OP-Print：针对 on-policy 自蒸馏的成员推断攻击研究
论文提出 OP-Print，首次针对 on-policy 自蒸馏开展成员推断攻击研究，覆盖灰盒与黑盒两种威胁模型。作者发现 on-policy 自蒸馏的监督印记稀疏且结构化，集中在不确定性敏感的修正位点而非整个 rollout：灰盒场景直接聚合同一 rollout 上的师生残差修正，黑盒场景则用基于重启的输出盆地稳定性作为隐藏修正过程的可观测替代。
arXiv推荐指数6262 APEX：基于阶段引导混合规划-MCTS算法的自动化后渗透攻击链探索
论文提出 APEX 系统，将攻击链发现转化为规划问题，用阶段引导的混合 Planning-Monte Carlo Tree Search（MCTS）算法求解，把攻击动作按语义阶段组织并结合符号规划与 MCTS，以高效探索状态空间并生成多条多样化攻击链。在包含 5 台虚拟机、30 个合成问题和 291 个云实例的基准上评测，APEX 发现了已知与此前未报告的攻击链，其中包括 9 条新的权限提升路径。
arXiv推荐指数5656 Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数6565 AgentTrace：基于执行轨迹的黑盒 LLM Agent 指纹识别框架
论文提出 AgentTrace，通过可观测的执行轨迹识别黑盒 LLM Agent 背后的基础模型。该框架注入结构上存在歧义的探针，在严格的工具接口处触发对分词敏感的序列化失败，再用轻量级 Markov 链对后续多步修复轨迹建模，在对抗性身份伪装下达到 96.0% 归因准确率，并能区分共享相同分词器的同家族变体（如 Llama-3 8B/70B），且对 prompt 混淆和温度缩放保持稳健。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5252 arXiv 论文研究 AI Agent 工作流中的授权与恢复机制
论文研究工具调用 AI Agent 的执行期可靠性，将检查点状态、派发授权、外部效果证据与结算授权区分为四类独立义务，并通过隐藏的供应商效果账本对历史记录做一致性核对。
arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5252 Selective Auditing：通过选择性审计提升AI辅助决策可靠性
arXiv 论文提出在线监控AI系统决策的选择性审计方法，将任务形式化为在线约束优化问题，在保证未审计AI错误比例低于用户设定阈值的前提下最小化专家审计频率。作者推导出一族具有可证明误差控制保证且无需假设的算法，其中一种方法在对抗与i.i.d.数据流上均渐近达到最优审计率。在大语言模型有害请求筛查、文本标注与数据标注实验中，该方法实现了有效的误差控制，并相比基线显著减少了人工审计需求。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv推荐指数5656 扩散语言模型用于困惑度感知的黑盒攻击研究
论文提出将连续潜空间攻击框架直接耦合到连续扩散语言模型（dLLM）上，去除原先依赖随机映射的解码方式，保留标准高斯潜变量形式与下游采样或优化流程。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。