SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 231 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6666 arXiv论文系统重评66种LLM代码质量提升技术，多数增益不及best-of-n基线
论文对628项研究（2021年7月至2026年10月）做系统综述，并在等算力预算下对10种技术、4个模型及后续扩展到13个模型和仓库级任务进行受控重评，在 Gemma 4 31B 上对66种技术做头对头比较。
arXiv推荐指数4949 Neuron Coverage Criteria 在大语言模型测试中的有效性研究
一项发表于 ACM TOSEM 的研究评估了六种神经元覆盖准则在 Transformer 大语言模型测试中的效果，发现其对对抗错误的揭示能力有限：错误样本仅比噪声样本多提供 0.32% 覆盖率，纳入覆盖引导仅使对抗样本产出增加 4.56%。但覆盖准则在 33 个配置中的 26 和 30 个里有效评估了分布多样性与样本公平性，更适合衡量多样性而非揭示对抗错误。
arXiv推荐指数6565 AgentHeal：评测 Web Agent 在访问障碍下的目标保持型资源恢复能力
论文提出 AgentHeal，一个评测 Web Agent 在访问障碍下进行目标保持型资源恢复能力的基准，涵盖 9 类障碍族，基于反事实沙箱与真实网站回放两种设置。
arXiv推荐指数6767 arXiv 论文审计恶意软件图像分类基准中的重复与泄漏问题
论文对十个将恶意软件二进制渲染为图像的分类基准进行审计，测试近重复图像与训练-测试泄漏，并在朴素与内容感知切分下重新训练标准分类器。结果显示按文件哈希去重无法阻止泄漏，因为不同二进制可渲染为相同图像；按图像内容去重使 top-1 准确率最多下降 8 个点、macro-F1 最多下降 15 个点。
arXiv推荐指数4545 ARBITRA：基于多专家论证的鲁棒文档级 MITRE ATT&CK 提取
ARBITRA 通过多个角色专精的 LLM 专家从完整 CTI 报告中提出候选 MITRE ATT&CK 实体，并用基于文档证据与理由的逐候选量化双极论证框架（QBAF）进行验证，在 ATT&CK 提取基准上取得比句子级流水线、近期 LLM 提取系统及 GPT-5.5 等前沿模型更强的精确率导向工作点。
arXiv推荐指数4545 联邦训练会削弱可解释性吗？集中式与联邦式 Deepfake 检测的 Grad-CAM 忠实度对比分析
一项系统研究在 FaceForensics++ 上以 EfficientNet-B4 检测器、5 个联邦客户端评估了联邦 Deepfake 检测中 Grad-CAM 解释的忠实度，发现联邦化与解释质量呈非单调关系：近 IID 和中度异构下联邦模型持平或优于集中式基线，极端异构下解释完全失效、空间不连贯且平均而言具有因果误导性。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6262 TG-CI：面向多智能体工作流的任务图上下文完整性形式化与评测集
论文提出 Task-Graph Contextual Integrity（TG-CI），据作者所知是首个面向多智能体系统的任务图原生上下文完整性形式化，将工作流建模为 Multi-Agent Task Graph（MATG），把 CI 从原子信息传递扩展到有状态的图级信息流，同时考虑条目的预期传播范围与接收方不断变化的披露状态。
arXiv推荐指数3838 PairWatch：基于卫星对感知的 AnomalyTransformer，用于检测公开卫星星表中的对抗性交会
PairWatch 提出一种卫星对感知的 AnomalyTransformer，通过在注意力先验中加入对相对运动特征的符号对称几何相似度，检测公开 TLE 星表中的对抗性交会与接近操作（RPO），并发布含 359 个窗口的开源 benchmark（覆盖 11 起有记录的 RPO 事件、100 个 Clohessy-Wiltshire 合成对抗窗口及五类困难负样本）。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数2222 机器学习检测加纳移动支付诈骗短信：朴素贝叶斯、SVM 与随机森林分类器对比评测
一项针对加纳移动支付（MoMo）诈骗短信的对比评测显示，Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00，三者五折交叉验证准确率分别为 96.6%（±3.3）、94.9%（±4.6）和 92.0%（±4.2）。
arXiv推荐指数6767 NeurIPS 2026 论文提出 Prefix Executability 协议评估工具使用 Agent 的轨迹可执行性
arXiv 论文《Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success》（已被 NeurIPS 2026 接收）提出前缀可执行性（prefix executability）轨迹级评测协议。
arXiv推荐指数4747 基于潜在坐标符号钳位的抗攻击多比特图像水印框架
一项 arXiv 研究提出训练无关的图像水印框架，利用扩散模型潜在空间的超完备性向任意图像嵌入 32–128 比特多比特载荷，适用于自然图像与 AI 生成图像。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数4545 通过正交投影在持续 LLM 遗忘中保持效用（Continual Orthogonal Projection, COP）
论文提出 Continual Orthogonal Projection（COP），一种梯度投影方案，将每次更新限制在先前遗忘集激活子空间的正交补中，可证明保证与早期删除的一阶非干扰。
arXiv推荐指数5656 针对自回归声音克隆 TTS 模型的可解释声学特征研究
论文提出一套面向自回归声音克隆 TTS 模型的特征可解释性框架，通过稀疏自编码器（SAE）、PCA 与随机方向的稀疏探测、引导（steering）和量化自动可解释性分析，研究这类模型编码并使用哪些声学属性。
arXiv推荐指数6262 arXiv 论文提出模板化多语言安全对齐数据集 MSafeTemp，覆盖 60 种语言
论文提出基于模板的可扩展增强流水线，从有害提示中提取安全模板、翻译后填入具有文化真实性的实体，生成大规模多语言拒绝与良性语料，并发布覆盖 60 种语言的 MSafeTemp 数据集。实验显示仅用英文评测会误判多语言安全：部分模型在英文失败的攻击翻译后成功，本地化变体还能暴露翻译无法覆盖的失败；模板增强安全训练数据可提升对齐多样性与质量，改善英文以外的安全表现。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数4040 CALM：面向长周期语言智能体的冲突感知生命周期记忆治理框架
CALM 提出一种冲突感知的生命周期记忆治理框架，将持久记忆保存与查询时准入解耦，把异构记录转换为基于证据的记忆单元，并依据支持、冲突与依赖信号更新有效性与生命周期状态。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6868 arXiv论文：CoT依赖度随模型规模上升并饱和，后训练不改变该依赖
论文在合成box-swap任务上用精确真值测量模型对自身思维链（CoT）的依赖度：替换CoT中一步为错误但合法的状态，检查答案是否随之改变。
arXiv推荐指数5656 arXiv 论文提出幻觉严格定义：区分语义错觉、编造与表达不确定性
Hazel H. Kim 等作者在 arXiv:2610.38520 论文中主张对 LLM 幻觉采用严格定义：幻觉应是自信的错误，与表达不确定性（UNK）分开；并用重测实验区分两类幻觉——若语义等价提示都无法恢复正确答案则为编造（CF），若部分可恢复则为语义错觉（SI）。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数4848 DecisionUnlearn-Bench：评估概率决策模型遗忘在 Schema 变化下的表现
arXiv 论文提出 DecisionUnlearn-Bench，一个评估概率决策模型机器遗忘（machine unlearning）表现的实证框架。
arXiv推荐指数6060 arXiv 论文提出连续风险景观视角以反思 LLM 越狱评测
论文《Rethinking LLM Jailbreak Evaluation: Continuous Risk Landscapes Beyond Binary Outcomes》指出，越狱评测通常沿用二元成功指示的攻击成功率（ASR），掩盖了可能生成的周边结构。
arXiv推荐指数4343 GI-RTL-Fuzz：基于 LLM 与 BNF 语法引导的 RTL 模拟器差分模糊测试框架
GI-RTL-Fuzz 是一个利用大语言模型（LLM）生成高质量 RTL 测试用例的语法引导模糊测试框架，通过 Backus-Naur Form（BNF）语法覆盖信息引导 LLM 生成过程，探索复杂且少被测试的语言特性。该框架对不同 RTL 模拟器进行差分测试，在主流 Verilog 模拟器的 linting 过程和仿真结果中发现了大量此前未知的不一致问题。
arXiv推荐指数5858 arXiv 论文揭示 LLM Agent 修复评估器与执行者不匹配导致部署价值损失
论文《Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents》研究 LLM Agent 修复方法中评估器选出的修复是否真正帮助实际执行的智能体。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数4848 Right Numbers, Wrong Questions：LLM 在欠明确金融查询上的评测研究
arXiv 论文提出"frame collapse"现象，指出 LLM 金融助手在面对用户未言明的语境（数据口径、产品变体、投资者情况与适用规则）时，会给出数据中真实存在但回答了另一个问题的答案。
arXiv推荐指数6262 arXiv论文提出溯源优先的审计方法，分析AI研究智能体论文中的数值误归属
论文重新分析了一个公开AI研究智能体基准的540份判定结果，并人工标注18篇投稿中的256条数值主张，发现失败主要集中在论文与底层工作之间的对齐问题，约五分之四的无支撑主张对应智能体自身文件中来自错误实验、指标或运行的数值。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。