SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 62 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6262 TG-CI：面向多智能体工作流的任务图上下文完整性形式化与评测集
论文提出 Task-Graph Contextual Integrity（TG-CI），据作者所知是首个面向多智能体系统的任务图原生上下文完整性形式化，将工作流建模为 Multi-Agent Task Graph（MATG），把 CI 从原子信息传递扩展到有状态的图级信息流，同时考虑条目的预期传播范围与接收方不断变化的披露状态。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数2222 机器学习检测加纳移动支付诈骗短信：朴素贝叶斯、SVM 与随机森林分类器对比评测
一项针对加纳移动支付（MoMo）诈骗短信的对比评测显示，Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00，三者五折交叉验证准确率分别为 96.6%（±3.3）、94.9%（±4.6）和 92.0%（±4.2）。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数6262 arXiv 论文提出模板化多语言安全对齐数据集 MSafeTemp，覆盖 60 种语言
论文提出基于模板的可扩展增强流水线，从有害提示中提取安全模板、翻译后填入具有文化真实性的实体，生成大规模多语言拒绝与良性语料，并发布覆盖 60 种语言的 MSafeTemp 数据集。实验显示仅用英文评测会误判多语言安全：部分模型在英文失败的攻击翻译后成功，本地化变体还能暴露翻译无法覆盖的失败；模板增强安全训练数据可提升对齐多样性与质量，改善英文以外的安全表现。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数4747 Component Translation and Judge-Labelled Refusal：多语言安全评估中的组件翻译与裁判标注拒绝率
一项多语言安全评估研究提出"组件翻译"配对反转方法，将请求的完整组件或操作组件独立翻译为同一目标语言，在 300 个采样有害行为中保留 190 个，生成英/中/西三语九种配置。
arXiv推荐指数4747 重审量化深度神经网络的隐私风险：4-8 bit 量化模型仍易受成员推断攻击
一项针对量化深度神经网络（QNN）隐私风险的实证研究显示，4-8 bit 的实用量化级别对成员推断攻击（MIA）防护作用有限，量化模型与全精度模型同样脆弱；2-bit 激进量化虽能带来一定隐私收益，但以显著的效用下降为代价。
arXiv推荐指数7272 SimpleLoRIF 用梯度归因定位致害微调数据并构建 SafeTulu
论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别与不安全行为梯度对齐的微调样本；通过简化低秩归因并将反向传播限制在最后四个 transformer 块，可处理百万级样本。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数5959 arXiv 论文提出用连续风险景观替代二元越狱评测指标
arXiv:2610.38595 论文提出用连续、上下文条件化的风险景观替代二元攻击成功率（ASR）来评估 LLM 越狱，通过固定候选首 token 开头并反复采样其续写来估计首 token 分支上的风险分布。该视角区分了当前解码器暴露度与安全改道能力两个互补属性，揭示了看似安全输出下隐藏的高风险分支，并发现针对已知自适应防御最强的攻击在防御生效后不一定仍是最强的。
arXiv推荐指数3333 REGLAT 在 ArGuard 2026 共享任务中的阿拉伯语有害内容检测系统：集成 NER 的集成模型
REGLAT 系统在 ArGuard 2026 共享任务中用 GLiNER 抽取有害实体并拼接原文，再交由微调后的 MARBERT 分类器完成阿拉伯语有害内容七分类，开发集上 macro-F1 达 0.886、准确率 0.897。盲测集子任务 1 准确率 0.793、Macro-F 0.735，子任务 2 准确率 0.770、Macro-F 0.754。分析显示相近危害类别之间仍难以区分。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
安全paper推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
arXiv:2610.36711 提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复是否泄露个人信息，尤其针对间接、部分、上下文相关或混淆的披露场景。
ShortSpan推荐指数7878 NTBench 论文揭示近目标提示词注入使 Meta-SecAlign-70B 攻击成功率从 3.2% 升至 36.7%
论文《On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection》提出近目标提示词注入（near-target prompt injection）与评测集 NTBench：注入指令不再要求模型放弃用户任务，而是让模型完成任务但把其中一处做错或做有害。
安全paper推荐指数6060 SpecGuard：基于形式化规约的运行时监控检测多轮 LLM 越狱
arXiv:2610.36258 提出 SpecGuard，一个免训练、规约驱动的多轮 LLM 越狱运行时监控框架。它用固定的原子命题契约把自然语言观察映射为带证据的事实，用 Linear Temporal Logic（LTL）规约描述被禁止的交互模式，并编译为符号有限自动机增量消费对话轨迹；通过的运行会产出可回放的 witness，标明触发的规约、支撑事实与相关对话轮次。
安全paper推荐指数7171 SEEK：面向科学Agent技能泄露的自进化黑盒红队方法
论文提出 SEEK（Skill Extraction with Evolving Knowledge），一个仅依赖用户可见响应的黑盒自进化红队Agent，用于从科学Agent平台提取可复用技能。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
安全paper推荐指数6868 arXiv论文评估激活探针检测潜在危害是否优于模型自身拒绝行为
arXiv:2610.30727 论文在15个指令微调LLM和38个激活读取器上，测试基于激活的latent harm探针（如Latent Guard）在表面改写、说服性框架和越狱包装等分布偏移下，能否检测到超出模型自身拒绝行为之外的危害信号。
arXiv推荐指数5555 MoST：基于搜索的视觉语言模型模态敏感性测试框架
论文提出 MoST，一个针对视觉语言模型（VLM）的黑盒测试框架，通过比较仅图像、仅文本和联合扰动来刻画模态敏感性，使用多目标搜索选择并组合扰动、调整其严重度，在限制图像与提示词改动幅度的同时寻求预测性能下降。
arXiv推荐指数5555 MIG-COW：基于梯度分解的可迁移 Deepfake 检测器对抗攻击
论文提出对抗攻击框架 MIG-COW，通过动量积分梯度与共识正交分解结合，捕捉异构 CNN 与 ViT 检测器的共性与模型特有漏洞。在 AADD-2025 Challenge 基准上，MIG-COW 白盒攻击成功率达 99.96% 且 SSIM 感知相似度高，显著优于现有基线；但对官方黑盒目标的 ASR 仅为 7.16%，尽管总分最佳，仍凸显迁移性难题。
ShortSpan推荐指数7474 研究评测边缘视觉语言模型对抗样本鲁棒性：失败常表现为错误框而非漏检
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现，引入条件攻击成功率cASR指标，仅在模型仍能于灰色遮挡下定位人的图像上计分。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。