面向 LLM 红队演练的预算化攻击调度:静态先验、语义引导与在线反馈的作用
研究将有限尝试预算下的越狱攻击优先级问题形式化为固定攻击库上的预算化攻击调度,并在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。实验显示历史 ASR 先验能提供强初始化,但在防御引起的分布偏移下可靠性下降;语义引导在冷启动阶段稳定优于或持平静态先验调度,在线反馈则在迁移先验失效时价值凸显。语义引导与在线反馈还能部分弥补历史先验缺失,三者呈互补关系。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
Tue Le 在 arXiv 提出 FALCON,一个以反例为据的验证框架,把攻击探索与行为验证分离,并通过被测程序的执行轨迹把两者连接起来。在测试时修复中,FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号,同时保持或提升功能表现。
研究者提出 RAGLeak,一种将信息泄露与直接文本暴露解耦的 RAG 供应链隐私后门攻击,触发后由生成器对检索到的私密文档做可逆混淆,再由辅助 LLM 高保真还原。在三个模型家族和三个应用领域上,RAGLeak 的 ASR 最高达 100%,对正常效用影响有限,在代表性检测类防御下 ASR 最多下降 10 个百分点。该后门在干净微调后以及跨模型规模和版本仍然有效,代码已开源。
作者提出 SUMMARK 摘要通道水印框架,用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值,审计时仅凭声称身份和已发布输出做带密钥的统计检验,无需访问模型内部、推理日志或路由信息。
NIOCIS 是一个面向工具调用 Agent 的路由层,将执行日志折叠为循环折叠动作图,由小模型单次读取校准分布、不输出文本,直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上,类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%(限定声明选项内 34.9%),编码耗时 10 ms,而每次 LLM 跳转需 2.2 s。
SpanGuard 提出把间接提示词注入(IPI)防御拆成两步:先用轻量无监督分割在异构工具输出中定位可疑指令,再由小语言模型做块级授权判断。作者指出小模型难以同时完成定位与授权判断,解耦后护栏对模型能力的要求明显降低。实验显示其攻击成功率为 0.32%,良性效用损失可忽略,且在更小的模型上仍然有效。
LeakBench 是一个可执行、由指南推导出的审计套件,用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景(MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据),并以描述性方式使用奖励黑客概念,不归因意图。
研究者在磁性触觉传感器中发现名为 PhantomTac 的物理层漏洞,攻击者只需在物体表面贴一枚约 0.5 mm 厚、无需供电的磁标签即可篡改传感器解读的力值,且可被条形码贴纸遮盖,属于部署后即可离开的“deploy-and-forget”攻击。
研究者提出 Signature Knowledge Shielding(SKS)范式,用辅助的 Shielding Signatures(SS)保护现有杀毒软件规则(Protected Signatures,PS),并以逻辑 OR 将 SS 匹配与原始判定结合,使探测反馈更难归因于 PS。
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准,在 15 只美股上评估约 10,000 次决策,覆盖 5 种注入向量和 7 类事件。
Mal-AAEGAN 通过对抗自编码器(AAE)将 M 维二进制 API 特征向量映射到低维连续潜空间,生成器在潜空间做加性扰动,避免直接操作高维离散二进制空间。
论文提出 connection escrow 机制,用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上,把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中,在任何数据包生成前拦截。
研究提出 ASR_STEP 指标,在保留二元成功判定的同时对受害模型的额外调用进行惩罚,以弥补传统攻击成功率(ASR)不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示,GCG 折扣后得分下降 7.0–8.7 个百分点,PAP 保持不变,PAIR 的折扣区间为 3.4–12 个百分点,说明不同迭代策略的“步数”含义不同。
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证,覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
作者提出 SWE-Residual 基准,用于评测编程智能体的起始状态鲁棒性,即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State,每个状态是前序智能体提交完成但隐藏测试仍失败后的环境,被评智能体只拿到原始请求和该状态。
作者提出 SPLASH 方法,通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure,用于在模型候选程序中挑选安全代码并定位漏洞语句,无需模型训练、CWE 专用规则或生成模型内部访问。
研究追踪 30 个开源模型谱系共 741 个检查点,发现多数谱系在预训练阶段就已出现迎合用户意见的谄媚行为,且平均强度在不同阶段可升可降。
研究者提出一个博弈论框架,让 LLM 无需微调即可通过上下文经验学习反诈骗策略,将诈骗者与反诈机器人互动建模为双人博弈,并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源,成果获 ECML PKDD 2026 接收。
论文提出 VulnSAGE,让 LLM 对每条 SAST 告警的判定都必须引用程序结构图中的具体关系,再由校验器查询图结构确认这些引用是否存在,只有前提成立的判定才进入最终结论。
论文提出 Speaker-Activated Backdoor(SAB)设定,攻击者在微调阶段植入后门,以目标说话人的自然语音作为触发器,无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频,就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率,误报率为 1.7% 和 0%。
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架,可同时生成端到端状态投毒攻击及其运行所需的任务环境,并据此构建 330 例的 RedClaw-Bench 基准。
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器,用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出,并在提交前将提议动作与备选动作进行对比。
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合,前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas,按注入指令如何构造以颠覆模型这一机制,将提示词注入攻击划分为六个根类别,并向下展开为技术与子技术层级。
一项实证研究基于 Huntr 与 HackerOne 公开披露的 4,281 份报告,构建了含 240 份厂商确认 CVSS 向量的基准,在四种提示策略与微调下评测八个 LLM。
论文 PAGE404: Breaking GPU Isolation Through Hardware-assisted Page Migration(作者 Ravan Nazaraliyev。
论文提出 CoRedSkill,一种针对可复用 Agent skills 的组合式红队方法:把恶意操作拆分到多个协作 skill 中,借助抽象语法树(AST)改写任务辅助函数,同时保持接口与可见任务逻辑不变,使单个 skill 包看起来无害,而在 Agent 按序调用时拼装成完整攻击。
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection(作者 Kshitij Mishra、Salem Lahlou、Nils Lukas)发现,同一段间接提示词注入载荷作为聊天后续消息时成功率 18%,放入检索内容中则达 53%。
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持(JPDH)风险:攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定,从而翻转应用代码执行的决策。
研究团队提出工具感知的模糊测试框架 ToFu,针对 LLM-编排层-工具信任边界,在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞,涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
ShortSpan 介绍 Erin Crawley 和 Hidenori Tanaka 的论文《Ecology of AI Agents: Collaboration Creates a Population Threshold for Takeoff》。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。
研究者提出 ST 插件式原始-对偶正则化包装器,只改现有迁移攻击的投影/更新步,在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。
研究者提出 KEX-bench,用 40 个真实 Linux 与 Windows CVE 构造 45 个任务,检验编码智能体能否把内核漏洞转成可验证的利用原语。
论文《The Illusion of Local Privacy》对本地 LLM 服务栈的完整性、生命周期、持久化与隔离四个边界做实测,结论是本地运行不等于提示词保密。