CloudIR-Bench：面向云故障根因分析与缓解预测的公开基准
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准，数据集取自五套主流云系统的真实事故报告，并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验，并定性分析 LLM 在何处、为何失败，揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开，论文收录于 APSEC 2026。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 258 条 · 更新于 15:39
arXiv推荐指数3131 arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
arXiv推荐指数7272 arXiv论文量化编码Agent过度遵循过期指令文件的行为并验证一句话修复
论文构建40个Python项目，在指令文件与现有代码约定冲突时让Claude Code和Codex CLI各运行320次。结果显示无干预时90.1%的选择遵循过期指令文件，Claude Code在80次运行中79次指出冲突仍照做，Codex CLI在80次中20次改写现有代码、其中17次导致项目测试失败。
arXiv推荐指数5757 ARATest：将研究声明转为可执行属性测试的论文
论文提出 ARATest，一个基于属性的测试库，把 AI agent 产出的研究声明中的隐含属性抽象为可执行的属性骨架进行检验。每个属性给出 holds、violated 或 inconclusive 三种判定，违规附带可复现的 witness；默认生成器读取 ARA 工件链接的证据，auto-research 生成器则派发 agent 运行已发布代码获取新用例。
arXiv推荐指数6262 审计 Agent 评测中的行为检测器：轨迹证据与标签的分歧研究
论文在基于 GSM8K 的工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每个模型 30 道题，发现最终正确性、可见复验与故障传播的自动标签存在系统性分歧。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数7272 Ulysses：面向 Web 漏洞可利用性验证的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，将候选 Web 应用漏洞发现转化为可验证的漏洞利用证明（Proof of Exploitability），通过迭代探索利用假设并以独立可观测的执行效果确认成功。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。
安全paper推荐指数6060 论文论证投毒式神经网络后门不具备密码学不对称性
arXiv 论文 2610.28045 提出归约论证，认为投毒式神经网络后门无法像密码学认证方案那样形成不对称性：若投毒训练能让模型对未见触发器稳定触发并保持正常行为，该训练过程本身就是一个触发器验证器学习器。
安全paper推荐指数6262 BenchDoor：利用基准激励实施后门投毒攻击
论文提出 BenchDoor 数据投毒与后门攻击框架，利用机器学习基准驱动数据集采用这一激励机制，让投毒数据在提升基准分数的同时植入触发器。
arXiv推荐指数3737 AgenticVulHunter：把本地 Agent 化漏洞挖掘带到终端
AgenticVulHunter 提出一种可在本地部署开源权重 LLM 上运行的 Agent 化安全代码审查方法，并配套终端工具。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数1818 SCALF：用步骤级信用分配与失败轨迹自蒸馏增强缺陷暴露测试生成
SCALF 是一种过程监督强化学习方法，结合步骤级信用分配与对有价值失败轨迹的定向学习，用于为大语言模型生成的代码自动生成能暴露缺陷的测试。它从过程奖励中推导每步优势，并将触发缺陷但输出预测错误的轨迹转入同策略自蒸馏。在三个基准上，其联合成功率、输出正确率和缺陷触发率分别比强提示与后训练基线最高提升 2.97、5.26 和 3.53 个百分点。
arXiv推荐指数2626 SyLares：面向免编译补丁存在性测试的神经符号推理引擎
SyLares 将免编译补丁存在性测试重构为神经符号推理，由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入，最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道，符号通道仅在 20% 代码案例中成功，其余回退到 LLM 裁决，易产生幻觉且两通道无法互相增强。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数2424 SSTA：面向认知雷达的时空对抗攻击，跨9个模型黑盒攻击成功率超基线10.36%
研究者提出物理先验驱动的分段时空攻击 SSTA，通过全局-局部特征解耦分割机制提升跨架构迁移性，并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中，SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB，噪底抬升严格落在恒虚警率容限内。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数6262 研究提出针对大模型统计生成水印的统一攻击框架
该论文提出 score-ratio alignment 这一共性弱点，覆盖 KGW 及其变体、GumbelSoft、DipMark、ITS 和 SynthID 等主流 LLM 水印方案，攻击者仅需黑盒查询、无需密钥或模型权重即可生成规避检测且保持流畅的文本。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数3232 HydraPoT：面向成本感知 LLM 辅助蜜罐的可配置多智能体框架
HydraPoT 是一个可配置多智能体蜜罐框架，将传统仿真、轻量 LLM 与云端 LLM 结合，按可配置的复杂度策略把每条攻击者命令路由到合适的智能体，并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%，在异构智能体间保持上下文，保真度接近纯云端 LLM 蜜罐；在案例策略下云端处理 token 减少 72.6%，运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数2222 RAISE：预测持续模糊测试中额外模糊测试的必要性
研究提出 RAISE（Risk-Aware Intensive Supplemental Execution Framework），一个按项目-天粒度做二分类、判断某天是否引入漏洞的 JIT 框架，用于优先为高风险项目-天分配额外模糊测试资源。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。
arXiv推荐指数4444 批量归一化层水印的漏洞与无数据移除攻击
研究揭示联邦学习中基于 Batch Normalization（BN）层的白盒水印方案存在根本性漏洞，并提出一种实用的无数据攻击，可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示，该攻击能持续移除水印且对模型性能影响极小。作者指出，DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估，而非依赖隐晦式安全。
arXiv推荐指数4242 SPECTER：利用 USB 电源调制从气隙系统 covert 窃取数据
SPECTER 是一种后渗透隐蔽信道，通过主机侧 USB 电源控制从气隙与网络隔离系统中窃取数据，无需将载荷放入 USB 数据传输。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。