arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 81 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
AI安全推荐指数5656 Damn Vulnerable LLM Agent：面向 ReAct 推理步骤注入的实验靶场
ReversecLabs 开源 Damn Vulnerable LLM Agent，一个基于 LangChain 构建的故意脆弱 ReAct agent，用于实验 Thought/Action/Observation 注入，攻击目标是 agent 的推理步骤而非最终答案。
AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
AI安全推荐指数7171 Damn Vulnerable MCP Server 开源十个递进式 MCP 攻击靶场挑战
GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server，包含十个难度递增的挑战，每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员，让他们在一个以被攻破为目标的靶场上接触各类失败模式。
ShortSpan推荐指数8383 Wiz 报告开源渗透测试 Agent ARTEX 在真实攻击中的自主攻击链
Wiz 研究人员通过访问日志和身份提供方遥测还原出攻击者使用开源渗透测试 Agent ARTEX 的攻击过程，该操作者与 Microsoft 追踪的 Storm-0940 共享基础设施与习惯，目标为 IT 与软件厂商，聚焦 Okta、Entra、Cognito 身份层。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数7676 Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
安全paper推荐指数6060 基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文（作者 Chao Gu、Quanyan Zhu）将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题，用 token 表示能力、审批与预算，使前置条件缺失或已消耗的注入请求被机械拒绝。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
arXiv推荐指数6262 APEX：基于阶段引导混合规划-MCTS算法的自动化后渗透攻击链探索
论文提出 APEX 系统，将攻击链发现转化为规划问题，用阶段引导的混合 Planning-Monte Carlo Tree Search（MCTS）算法求解，把攻击动作按语义阶段组织并结合符号规划与 MCTS，以高效探索状态空间并生成多条多样化攻击链。在包含 5 台虚拟机、30 个合成问题和 291 个云实例的基准上评测，APEX 发现了已知与此前未报告的攻击链，其中包括 9 条新的权限提升路径。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5656 扩散语言模型用于困惑度感知的黑盒攻击研究
论文提出将连续潜空间攻击框架直接耦合到连续扩散语言模型（dLLM）上，去除原先依赖随机映射的解码方式，保留标准高斯潜变量形式与下游采样或优化流程。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7575 NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。