SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 23 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
AI安全推荐指数5656 Damn Vulnerable LLM Agent：面向 ReAct 推理步骤注入的实验靶场
ReversecLabs 开源 Damn Vulnerable LLM Agent，一个基于 LangChain 构建的故意脆弱 ReAct agent，用于实验 Thought/Action/Observation 注入，攻击目标是 agent 的推理步骤而非最终答案。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
ShortSpan推荐指数7878 NTBench 论文揭示近目标提示词注入使 Meta-SecAlign-70B 攻击成功率从 3.2% 升至 36.7%
论文《On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection》提出近目标提示词注入（near-target prompt injection）与评测集 NTBench：注入指令不再要求模型放弃用户任务，而是让模型完成任务但把其中一处做错或做有害。
安全paper推荐指数7676 Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
ShortSpan推荐指数7676 MMA-SafetyBench 评测揭示多模态智能体易被伪造界面元素劫持
研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench，包含 1,083 条对抗轨迹，覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域，对九个视觉语言模型评测。
安全paper推荐指数4747 PROVISO：面向安全 LLM Agent 的溯源感知动作选择控制器
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器，用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出，并在提交前将提议动作与备选动作进行对比。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。