arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 102 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6565 AgentHeal：评测 Web Agent 在访问障碍下的目标保持型资源恢复能力
论文提出 AgentHeal，一个评测 Web Agent 在访问障碍下进行目标保持型资源恢复能力的基准，涵盖 9 类障碍族，基于反事实沙箱与真实网站回放两种设置。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
AI安全推荐指数5656 Damn Vulnerable LLM Agent：面向 ReAct 推理步骤注入的实验靶场
ReversecLabs 开源 Damn Vulnerable LLM Agent，一个基于 LangChain 构建的故意脆弱 ReAct agent，用于实验 Thought/Action/Observation 注入，攻击目标是 agent 的推理步骤而非最终答案。
AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
AI安全推荐指数7171 Damn Vulnerable MCP Server 开源十个递进式 MCP 攻击靶场挑战
GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server，包含十个难度递增的挑战，每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员，让他们在一个以被攻破为目标的靶场上接触各类失败模式。
安全向导推荐指数5353 解析多模态大模型视觉提示词注入攻击与防御策略
文章介绍 Vision Prompt Injection 漏洞，即在具备图像处理能力的大语言模型中，恶意指令可被嵌入图像（甚至不可见）以诱导模型执行未授权操作或窃取敏感数据。文中展示了真实的视觉提示词注入攻击案例，并讨论了企业在构建多模态 LLM 应用时面临的防御挑战与潜在应对策略。
安全向导推荐指数2525 NCC Group 解析提示词注入攻击机制
NCC Group 于 2022 年 12 月发布提示词注入（Prompt Injection）入门解析，当时该攻击手法尚属新兴威胁。文章解释了机器学习语境下"提示词"的定义、注入攻击如何滥用提示词机制、攻击可触及的范围，以及相应防护措施，至今仍是讲解该攻击机制较为清晰的早期入门材料之一。
安全向导推荐指数3030 PIPE - Prompt Injection Primer for Engineers（提示词注入工程师入门指南）
Joseph Thacker 撰写的 PIPE（Prompt Injection Primer for Engineers）指南，帮助开发者理解提示词注入（Prompt Injection）的真实风险，从而构建更安全的 AI 应用与功能。该指南最后更新于 2023 年 8 月。
ShortSpan推荐指数8383 Wiz 报告开源渗透测试 Agent ARTEX 在真实攻击中的自主攻击链
Wiz 研究人员通过访问日志和身份提供方遥测还原出攻击者使用开源渗透测试 Agent ARTEX 的攻击过程，该操作者与 Microsoft 追踪的 Storm-0940 共享基础设施与习惯，目标为 IT 与软件厂商，聚焦 Okta、Entra、Cognito 身份层。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数7575 arXiv 论文提出六模块扫描器检测 Agent Skills 本地与组合漏洞
论文提出一个六模块扫描器（内容提取、本地分析、组合分析、验证、报告、缓解），用于检测 Agent Skills 中的非预期漏洞及多技能组合风险。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
ShortSpan推荐指数7878 NTBench 论文揭示近目标提示词注入使 Meta-SecAlign-70B 攻击成功率从 3.2% 升至 36.7%
论文《On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection》提出近目标提示词注入（near-target prompt injection）与评测集 NTBench：注入指令不再要求模型放弃用户任务，而是让模型完成任务但把其中一处做错或做有害。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数7676 Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。