arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 115 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6262 TG-CI：面向多智能体工作流的任务图上下文完整性形式化与评测集
论文提出 Task-Graph Contextual Integrity（TG-CI），据作者所知是首个面向多智能体系统的任务图原生上下文完整性形式化，将工作流建模为 Multi-Agent Task Graph（MATG），把 CI 从原子信息传递扩展到有状态的图级信息流，同时考虑条目的预期传播范围与接收方不断变化的披露状态。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数6767 arXiv 论文：基于惊讶度的持续学习易吸收谎言，证据门控可缓解
论文研究 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B、Llama-3.2-3B）从真假声明流中持续学习时的问题，发现基于惊讶度的筛选规则会吸收几乎全部植入的谎言，吸收率接近同等预算下的随机选择。
arXiv推荐指数2222 机器学习检测加纳移动支付诈骗短信：朴素贝叶斯、SVM 与随机森林分类器对比评测
一项针对加纳移动支付（MoMo）诈骗短信的对比评测显示，Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00，三者五折交叉验证准确率分别为 96.6%（±3.3）、94.9%（±4.6）和 92.0%（±4.2）。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数6262 arXiv 论文提出模板化多语言安全对齐数据集 MSafeTemp，覆盖 60 种语言
论文提出基于模板的可扩展增强流水线，从有害提示中提取安全模板、翻译后填入具有文化真实性的实体，生成大规模多语言拒绝与良性语料，并发布覆盖 60 种语言的 MSafeTemp 数据集。实验显示仅用英文评测会误判多语言安全：部分模型在英文失败的攻击翻译后成功，本地化变体还能暴露翻译无法覆盖的失败；模板增强安全训练数据可提升对齐多样性与质量，改善英文以外的安全表现。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数4747 Component Translation and Judge-Labelled Refusal：多语言安全评估中的组件翻译与裁判标注拒绝率
一项多语言安全评估研究提出"组件翻译"配对反转方法，将请求的完整组件或操作组件独立翻译为同一目标语言，在 300 个采样有害行为中保留 190 个，生成英/中/西三语九种配置。
arXiv推荐指数3838 MLCCD：跨 MLLM 层解耦一致性与冲突的多模态假新闻检测
MLCCD 提出跨多模态大语言模型（MLLM）层解耦一致性与冲突证据的方法用于假新闻检测：先用最终决策表示筛选任务相关视觉与文本 token，保留相邻层间表示剧变的 token，再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
arXiv推荐指数3838 通过隔离审查意见降低 Agent 过度防御性写作的 harness
一个将审查者、过滤器与写作者分离的 harness，在 25 份商业项目草稿扩写为正式报告的评测中，把防御性命题从 59 条降到 2 条（降幅 96.61%），未发现无依据的事实添加，原文主张保留率从 80.35% 升至 93.12%。写作者 Agent 只接收过滤器挑选的问题，处于独立上下文，以避免为对抗性 AI 审查者而写作。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数4747 重审量化深度神经网络的隐私风险：4-8 bit 量化模型仍易受成员推断攻击
一项针对量化深度神经网络（QNN）隐私风险的实证研究显示，4-8 bit 的实用量化级别对成员推断攻击（MIA）防护作用有限，量化模型与全精度模型同样脆弱；2-bit 激进量化虽能带来一定隐私收益，但以显著的效用下降为代价。
arXiv推荐指数7272 SimpleLoRIF 用梯度归因定位致害微调数据并构建 SafeTulu
论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别与不安全行为梯度对齐的微调样本；通过简化低秩归因并将反向传播限制在最后四个 transformer 块，可处理百万级样本。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
安全paper推荐指数5959 arXiv 论文提出用连续风险景观替代二元越狱评测指标
arXiv:2610.38595 论文提出用连续、上下文条件化的风险景观替代二元攻击成功率（ASR）来评估 LLM 越狱，通过固定候选首 token 开头并反复采样其续写来估计首 token 分支上的风险分布。该视角区分了当前解码器暴露度与安全改道能力两个互补属性，揭示了看似安全输出下隐藏的高风险分支，并发现针对已知自适应防御最强的攻击在防御生效后不一定仍是最强的。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数3333 REGLAT 在 ArGuard 2026 共享任务中的阿拉伯语有害内容检测系统：集成 NER 的集成模型
REGLAT 系统在 ArGuard 2026 共享任务中用 GLiNER 抽取有害实体并拼接原文，再交由微调后的 MARBERT 分类器完成阿拉伯语有害内容七分类，开发集上 macro-F1 达 0.886、准确率 0.897。盲测集子任务 1 准确率 0.793、Macro-F 0.735，子任务 2 准确率 0.770、Macro-F 0.754。分析显示相近危害类别之间仍难以区分。
arXiv推荐指数5151 RePAIR：语义分割后门攻击的逆向修复方法
arXiv 论文提出 RePAIR，一种针对语义分割模型后门攻击的事后、无标签、攻击未知防御方法。它基于后门引起的偏移在分类头中强于内部表示的观察，从未标注且可能受污染的图像池推断受害者-目标类别关系，通过比较分类头预测与内部语义证据定位可疑像素，并在特征空间与输出端向推断出的受害者语义做修正。
arXiv推荐指数4545 The Content Leash：通过内容保持约束缓解可逆语音匿名化中的退化解
arXiv 论文提出 The Content Leash 方法，通过内容保持训练约束与验证器泛化策略改进可逆语音匿名化的隐私-效用权衡。在 38 名未见说话人上，攻击者等错误率从 2.8% 提升至 26.3%，对留出验证器达 27.9%；基于密钥的语音恢复词错误率为 11.8%，说话人相似度达 94.9%。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。