arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 93 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6565 AgentHeal：评测 Web Agent 在访问障碍下的目标保持型资源恢复能力
论文提出 AgentHeal，一个评测 Web Agent 在访问障碍下进行目标保持型资源恢复能力的基准，涵盖 9 类障碍族，基于反事实沙箱与真实网站回放两种设置。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数7575 arXiv 论文提出六模块扫描器检测 Agent Skills 本地与组合漏洞
论文提出一个六模块扫描器（内容提取、本地分析、组合分析、验证、报告、缓解），用于检测 Agent Skills 中的非预期漏洞及多技能组合风险。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
ShortSpan推荐指数7878 NTBench 论文揭示近目标提示词注入使 Meta-SecAlign-70B 攻击成功率从 3.2% 升至 36.7%
论文《On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection》提出近目标提示词注入（near-target prompt injection）与评测集 NTBench：注入指令不再要求模型放弃用户任务，而是让模型完成任务但把其中一处做错或做有害。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数7676 Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
安全paper推荐指数6060 基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文（作者 Chao Gu、Quanyan Zhu）将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题，用 token 表示能力、审批与预算，使前置条件缺失或已消耗的注入请求被机械拒绝。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
arXiv推荐指数6262 APEX：基于阶段引导混合规划-MCTS算法的自动化后渗透攻击链探索
论文提出 APEX 系统，将攻击链发现转化为规划问题，用阶段引导的混合 Planning-Monte Carlo Tree Search（MCTS）算法求解，把攻击动作按语义阶段组织并结合符号规划与 MCTS，以高效探索状态空间并生成多条多样化攻击链。在包含 5 台虚拟机、30 个合成问题和 291 个云实例的基准上评测，APEX 发现了已知与此前未报告的攻击链，其中包括 9 条新的权限提升路径。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。