Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 84 条 · 更新于 15:38
arXiv推荐指数7070 arXiv推荐指数5252 Selective Auditing：通过选择性审计提升AI辅助决策可靠性
arXiv 论文提出在线监控AI系统决策的选择性审计方法，将任务形式化为在线约束优化问题，在保证未审计AI错误比例低于用户设定阈值的前提下最小化专家审计频率。作者推导出一族具有可证明误差控制保证且无需假设的算法，其中一种方法在对抗与i.i.d.数据流上均渐近达到最优审计率。在大语言模型有害请求筛查、文本标注与数据标注实验中，该方法实现了有效的误差控制，并相比基线显著减少了人工审计需求。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
arXiv推荐指数7070 GUI Agent 成功自述泄漏研究：ICSE 2027 论文提出报告隔离审计器
论文提出 report-trace auditing，用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致，并定义了轨迹无法支撑的危险误报（dangerous misreport）。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
arXiv推荐指数2222 MASAR：面向电信网络的多阶段攻击面分析与推理框架
论文提出 MASAR 形式化框架，用战略威胁映射、基于 DAG 的逻辑攻击路径分解和 TTP 运营合成三层结构，弥合 STRIDE 架构威胁建模与 MITRE FiGHT 运营知识库之间的差距。
arXiv推荐指数2323 VMSpec：基于反编译器的虚拟机混淆对抗方法
VMSpec 是一种基于反编译器的自动化方法，通过构建 VM 处理器规格，让现有反编译器能分析 VM 混淆代码。在 147 个来自 Tigress 和 Code Virtualizer 混淆基准的程序及 6 个真实恶意软件 DGA 上，VMSpec 几乎剥离了所有样本的 VM 混淆，输出效果接近 Ghidra 对原始代码的反编译。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数6262 研究提出针对大模型统计生成水印的统一攻击框架
该论文提出 score-ratio alignment 这一共性弱点，覆盖 KGW 及其变体、GumbelSoft、DipMark、ITS 和 SynthID 等主流 LLM 水印方案，攻击者仅需黑盒查询、无需密钥或模型权重即可生成规避检测且保持流畅的文本。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数3232 HydraPoT：面向成本感知 LLM 辅助蜜罐的可配置多智能体框架
HydraPoT 是一个可配置多智能体蜜罐框架，将传统仿真、轻量 LLM 与云端 LLM 结合，按可配置的复杂度策略把每条攻击者命令路由到合适的智能体，并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%，在异构智能体间保持上下文，保真度接近纯云端 LLM 蜜罐；在案例策略下云端处理 token 减少 72.6%，运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。
arXiv推荐指数4444 批量归一化层水印的漏洞与无数据移除攻击
研究揭示联邦学习中基于 Batch Normalization（BN）层的白盒水印方案存在根本性漏洞，并提出一种实用的无数据攻击，可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示，该攻击能持续移除水印且对模型性能影响极小。作者指出，DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估，而非依赖隐晦式安全。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数5858 SUMMARK：用推理摘要通道验证托管大模型身份是否被替换
作者提出 SUMMARK 摘要通道水印框架，用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值，审计时仅凭声称身份和已发布输出做带密钥的统计检验，无需访问模型内部、推理日志或路由信息。
arXiv推荐指数3434 NIOCIS：面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由
NIOCIS 是一个面向工具调用 Agent 的路由层，将执行日志折叠为循环折叠动作图，由小模型单次读取校准分布、不输出文本，直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上，类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%（限定声明选项内 34.9%），编码耗时 10 ms，而每次 LLM 跳转需 2.2 s。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数6666 Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行
论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。
arXiv推荐指数5858 SPLASH：用对比审计压力检测并定位生成代码中的安全幻觉
作者提出 SPLASH 方法，通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure，用于在模型候选程序中挑选安全代码并定位漏洞语句，无需模型训练、CWE 专用规则或生成模型内部访问。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。