AI 流水线中的保障证据复用：有效性条件、fail-closed 发布门禁与 714 条公开 DVC 流水线回放
研究提出签名证据记录的有效性条件与 fail-closed 发布门禁，用 Ed25519 数字签名实现的参考门禁在 9 个操纵场景中拦截 8 个，而仅验证签名的门禁只拦截 3 个、信任 planner 的门禁仅 1 个。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 156 条 · 更新于 15:38
arXiv推荐指数4040 arXiv推荐指数3939 从 Token 到文件：AI 参与代码的多粒度检测与定位
研究者提出一种在 token 级建模 AI 作者身份、并在行、块、文件三级预测的框架，用冻结代码语言模型加两个低秩适配器，以逐 token 对数似然比作为局部证据。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数6262 研究提出针对大模型统计生成水印的统一攻击框架
该论文提出 score-ratio alignment 这一共性弱点，覆盖 KGW 及其变体、GumbelSoft、DipMark、ITS 和 SynthID 等主流 LLM 水印方案，攻击者仅需黑盒查询、无需密钥或模型权重即可生成规避检测且保持流畅的文本。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数3232 HydraPoT：面向成本感知 LLM 辅助蜜罐的可配置多智能体框架
HydraPoT 是一个可配置多智能体蜜罐框架，将传统仿真、轻量 LLM 与云端 LLM 结合，按可配置的复杂度策略把每条攻击者命令路由到合适的智能体，并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%，在异构智能体间保持上下文，保真度接近纯云端 LLM 蜜罐；在案例策略下云端处理 token 减少 72.6%，运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。
arXiv推荐指数4444 批量归一化层水印的漏洞与无数据移除攻击
研究揭示联邦学习中基于 Batch Normalization（BN）层的白盒水印方案存在根本性漏洞，并提出一种实用的无数据攻击，可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示，该攻击能持续移除水印且对模型性能影响极小。作者指出，DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估，而非依赖隐晦式安全。
arXiv推荐指数2020 面向电网边缘 OT 网络的延迟中性被动网络安全监控：OTSV 框架实测延迟差小于 0.12 毫秒
研究验证了 Operational Technology Supervisor（OTSV）三层被动监控框架在电网边缘时序敏感网络中实现延迟中性安全监控的可行性。
arXiv推荐指数3131 用数字孪生与 CSVSS 量化 ICS 网络社会影响，LLM 仅做首轮分析
一篇论文提出将数字孪生与 Cyber-Social Security 模型结合，用 Mininet 和 MiniCPS 构建虚拟化 ICS 环境模拟攻击场景。其核心是 Cyber-Social Vulnerability Scoring System（CSVSS），在 CVSS 基础上增加基于 Entity 与 Place 支柱的社会影响维度，输出单一可复现的严重性评分。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数4949 每个模型都留下痕迹：多分辨率 LLM 指纹识别研究
研究提出"指纹分辨率"框架，从模型分辨率（跨家族、蒸馏变体、LoRA 适配）与信号分辨率（行为、文体、词汇、语义）两个维度考察 LLM 生成文本的可归属程度。结果显示指纹可超越家族差异，在蒸馏模型乃至同一基座的 LoRA 适配版本中仍可检测；表面与词汇线索被改写后归属能力减弱，但仍有大量模型特异信号残留，且可跨提示分布与语言迁移，其中语义表征跨语言最稳健。
Nature推荐指数6262 Nature 论文提出模块化多智能体个人健康助手 PHA 并开源评测基准
论文提出基于 Gemini 2 家族模型的模块化多智能体个人健康助手 PHA，由数据科学 DS、领域专家 DE、健康教练 HC 三个子智能体与中央 orchestrator 组成，覆盖 11 项基准、超过 7,000 条人工标注和 1,350 小时（651 小时终端用户、699 小时专家）投入。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数5858 SUMMARK：用推理摘要通道验证托管大模型身份是否被替换
作者提出 SUMMARK 摘要通道水印框架，用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值，审计时仅凭声称身份和已发布输出做带密钥的统计检验，无需访问模型内部、推理日志或路由信息。
arXiv推荐指数3434 NIOCIS：面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由
NIOCIS 是一个面向工具调用 Agent 的路由层，将执行日志折叠为循环折叠动作图，由小模型单次读取校准分布、不输出文本，直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上，类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%（限定声明选项内 34.9%），编码耗时 10 ms，而每次 LLM 跳转需 2.2 s。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数3131 Fortress：基于社交图谱结构的抗分叉透明日志协议
Fortress 提出首个基于社交图谱的抗分叉透明日志协议，用用户社交关系替代公告板或外部 gossip 网络，在每轮中要么所有用户输出相同结果，要么至少一名诚实用户生成可公开验证的不当行为证明。该协议可抵御任意恶意服务器（含可窃取用户秘密状态的快照攻击者），前提是服务器未攻陷关系密切的用户；诚实执行下带外交互仅发生在用户重置密钥时，总成本接近每次重置一次调用的下界。
arXiv推荐指数6666 Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行
论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。
arXiv推荐指数3434 BrushOff：基于笔触重渲染的绘画水印去除攻击
研究者提出 BrushOff，一种无需训练、无需知晓水印、也不依赖生成模型的笔触重渲染攻击，可将 VINE 水印在 500 幅五种风格绘画上的检测率从至少 97.8% 降至 1.8%，输出无参考质量分数接近干净画作。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。
arXiv推荐指数5858 SPLASH：用对比审计压力检测并定位生成代码中的安全幻觉
作者提出 SPLASH 方法，通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure，用于在模型候选程序中挑选安全代码并定位漏洞语句，无需模型训练、CWE 专用规则或生成模型内部访问。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7474 研究论文揭示 schema 合法判定可被用于劫持应用决策
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持（JPDH）风险：攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定，从而翻转应用代码执行的决策。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
ShortSpan推荐指数7171 KEX-bench 评测编码智能体生成内核利用原语：无参考 PoC 时 Windows 任务仅解出 1/20
研究者提出 KEX-bench，用 40 个真实 Linux 与 Windows CVE 构造 45 个任务，检验编码智能体能否把内核漏洞转成可验证的利用原语。
ShortSpan推荐指数7474 研究称本地 LLM 经内存残留、日志与 API 泄露提示词
论文《The Illusion of Local Privacy》对本地 LLM 服务栈的完整性、生命周期、持久化与隔离四个边界做实测，结论是本地运行不等于提示词保密。