论文论证投毒式神经网络后门不具备密码学不对称性
arXiv 论文 2610.28045 提出归约论证，认为投毒式神经网络后门无法像密码学认证方案那样形成不对称性：若投毒训练能让模型对未见触发器稳定触发并保持正常行为，该训练过程本身就是一个触发器验证器学习器。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 241 条 · 更新于 15:39
安全paper推荐指数6060 安全paper推荐指数6262 BenchDoor：利用基准激励实施后门投毒攻击
论文提出 BenchDoor 数据投毒与后门攻击框架，利用机器学习基准驱动数据集采用这一激励机制，让投毒数据在提升基准分数的同时植入触发器。
arXiv推荐指数3737 AgenticVulHunter：把本地 Agent 化漏洞挖掘带到终端
AgenticVulHunter 提出一种可在本地部署开源权重 LLM 上运行的 Agent 化安全代码审查方法，并配套终端工具。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数1818 SCALF：用步骤级信用分配与失败轨迹自蒸馏增强缺陷暴露测试生成
SCALF 是一种过程监督强化学习方法，结合步骤级信用分配与对有价值失败轨迹的定向学习，用于为大语言模型生成的代码自动生成能暴露缺陷的测试。它从过程奖励中推导每步优势，并将触发缺陷但输出预测错误的轨迹转入同策略自蒸馏。在三个基准上，其联合成功率、输出正确率和缺陷触发率分别比强提示与后训练基线最高提升 2.97、5.26 和 3.53 个百分点。
arXiv推荐指数2626 SyLares：面向免编译补丁存在性测试的神经符号推理引擎
SyLares 将免编译补丁存在性测试重构为神经符号推理，由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入，最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道，符号通道仅在 20% 代码案例中成功，其余回退到 LLM 裁决，易产生幻觉且两通道无法互相增强。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数2424 SSTA：面向认知雷达的时空对抗攻击，跨9个模型黑盒攻击成功率超基线10.36%
研究者提出物理先验驱动的分段时空攻击 SSTA，通过全局-局部特征解耦分割机制提升跨架构迁移性，并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中，SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB，噪底抬升严格落在恒虚警率容限内。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数6262 研究提出针对大模型统计生成水印的统一攻击框架
该论文提出 score-ratio alignment 这一共性弱点，覆盖 KGW 及其变体、GumbelSoft、DipMark、ITS 和 SynthID 等主流 LLM 水印方案，攻击者仅需黑盒查询、无需密钥或模型权重即可生成规避检测且保持流畅的文本。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数3232 HydraPoT：面向成本感知 LLM 辅助蜜罐的可配置多智能体框架
HydraPoT 是一个可配置多智能体蜜罐框架，将传统仿真、轻量 LLM 与云端 LLM 结合，按可配置的复杂度策略把每条攻击者命令路由到合适的智能体，并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%，在异构智能体间保持上下文，保真度接近纯云端 LLM 蜜罐；在案例策略下云端处理 token 减少 72.6%，运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数2222 RAISE：预测持续模糊测试中额外模糊测试的必要性
研究提出 RAISE（Risk-Aware Intensive Supplemental Execution Framework），一个按项目-天粒度做二分类、判断某天是否引入漏洞的 JIT 框架，用于优先为高风险项目-天分配额外模糊测试资源。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。
arXiv推荐指数4444 批量归一化层水印的漏洞与无数据移除攻击
研究揭示联邦学习中基于 Batch Normalization（BN）层的白盒水印方案存在根本性漏洞，并提出一种实用的无数据攻击，可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示，该攻击能持续移除水印且对模型性能影响极小。作者指出，DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估，而非依赖隐晦式安全。
arXiv推荐指数4242 SPECTER：利用 USB 电源调制从气隙系统 covert 窃取数据
SPECTER 是一种后渗透隐蔽信道，通过主机侧 USB 电源控制从气隙与网络隔离系统中窃取数据，无需将载荷放入 USB 数据传输。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
安全paper推荐指数4747 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
论文提出 ASR_STEP 指标，在保留二元成功判定的同时惩罚对受害模型的额外调用，以修正标准攻击成功率（ASR）忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后分数下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
安全paper推荐指数4747 小规模本地部署 LLM 在法律语境下过度拒答：刑事法律场景中的角色前缀使拒答率上升 2–20 倍
研究显示，小规模开源权重 LLM 在刑事法律日常任务中，加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后，对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示，而是用户自然的职业自述；已知的角色扮演越狱前缀效果则因模型而异，部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测，机制、任务广度与泛化性仍待进一步研究。
安全paper推荐指数5252 SpanGuard 提出轻量 IPI 防御：将指令定位与授权判定解耦
Yinxiang Wang 等人在 arXiv 论文中提出 SpanGuard，一种针对间接提示词注入（IPI）的轻量防御方法，先用无监督分割在工具输出中定位可疑指令片段，再由小模型逐块判断是否获得用户请求授权。
安全paper推荐指数5858 RAGLeak：针对检索增强生成的供应链隐私后门
研究者提出 RAGLeak，一种针对检索增强生成（RAG）的供应链隐私后门，被触发的生成器会把检索到的私密文档做可逆混淆而非直接复制或改写，再由辅助 LLM 还原隐藏内容。
安全paper推荐指数4040 面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用
论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题，在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化，但在防御引发的分布偏移下可靠性下降；语义引导在冷启动阶段稳定提升或持平静态先验调度，在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。