超越攻击成功率:面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
论文提出 ASR_STEP 指标,在保留二元成功判定的同时惩罚对受害模型的额外调用,以修正标准攻击成功率(ASR)忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示,GCG 折扣后分数下降 7.0–8.7 个百分点,PAP 保持不变,PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出 ASR_STEP 指标,在保留二元成功判定的同时惩罚对受害模型的额外调用,以修正标准攻击成功率(ASR)忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示,GCG 折扣后分数下降 7.0–8.7 个百分点,PAP 保持不变,PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438,提出针对 LLM 交易 Agent 的“信息注入”攻击基准,覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题,在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化,但在防御引发的分布偏移下可靠性下降;语义引导在冷启动阶段稳定提升或持平静态先验调度,在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。
作者训练模型生物在漏洞检测任务中隐瞒答案,用于实证研究“引出潜在知识”(ELK)问题。方法结合对话记录蒸馏、反提示与抗篡改训练,使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性;最强模型在鲁棒性上明显优于此前模型,同时保持另两项特性。代码、模型与数据集均已公开。
论文提出 REX(Relocating into Removable EXperts),利用 MoE 的模块化结构新增一组可物理移除的专家,通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中,删除这些专家即可得到可公开发布的模型。
针对 PQC 长密钥无法装入单个 IP 包、易引发 IP 分片并导致 IKEv2 安全关联失败的问题,研究提出将经典密钥与量子密钥拼接为单一复合密钥并经 TCP 传输的 IKEv2 密钥共享机制。在 1% 丢包下握手时间比 UDP/TCP 混合机制至少优 20%,10% 丢包下优 30%,能耗在 10% 丢包下降低 29%。
LeakBench 是一个可执行、由指南推导出的审计套件,用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景(MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据),并以描述性方式使用奖励黑客概念,不归因意图。
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准,在 15 只美股上评估约 10,000 次决策,覆盖 5 种注入向量和 7 类事件。
研究提出 ASR_STEP 指标,在保留二元成功判定的同时对受害模型的额外调用进行惩罚,以弥补传统攻击成功率(ASR)不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示,GCG 折扣后得分下降 7.0–8.7 个百分点,PAP 保持不变,PAIR 的折扣区间为 3.4–12 个百分点,说明不同迭代策略的“步数”含义不同。
研究者提出 BrushOff,一种无需训练、无需知晓水印、也不依赖生成模型的笔触重渲染攻击,可将 VINE 水印在 500 幅五种风格绘画上的检测率从至少 97.8% 降至 1.8%,输出无参考质量分数接近干净画作。
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序,发现修复向量按误用类别而非语言聚类,并提出 CrypSteer——在模型权重不变的情况下,于生成时向内部激活加入每个模型一条共享方向,使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证,覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
一项针对 904 个建筑相关 GitHub 仓库的跨生态实证研究发现,仅 494 个(54.6%)仓库能完成依赖漏洞评估,依赖可见性存在明显缺口。成功扫描的仓库中 395 个(80.0%)含至少一个已公布漏洞的依赖版本,97.2% 的受影响仓库存在 High 或 Critical 级风险。
作者提出 SWE-Residual 基准,用于评测编程智能体的起始状态鲁棒性,即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State,每个状态是前序智能体提交完成但隐藏测试仍失败后的环境,被评智能体只拿到原始请求和该状态。
研究者提出一个博弈论框架,让 LLM 无需微调即可通过上下文经验学习反诈骗策略,将诈骗者与反诈机器人互动建模为双人博弈,并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源,成果获 ECML PKDD 2026 接收。
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架,可同时生成端到端状态投毒攻击及其运行所需的任务环境,并据此构建 330 例的 RedClaw-Bench 基准。
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架,用语言特定的安全类别替代 CWE 级检索,可作为独立安全层或 RACG 管线的即插即用附加组件,无需修改底层模型。在 CyberSecEval 上,其安全代码生成改进幅度接近当前最优方法的两倍(23.57% vs. 12.11%),同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。
作者提出 utility-verified abstraction(UVA),训练本地代码 Agent 在向更强的云端模型咨询时,用角色和类型描述私有实体,同时保留专家所需的技术细节。在仓库级 issue 修复任务上,训练后的 Agent 解决 37.6% 的问题,同一模型单独工作为 25.3%;其提问泄露的私有实体比未训练时少 3.7 倍,逐字代码少 1.4 倍。
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas,按注入指令如何构造以颠覆模型这一机制,将提示词注入攻击划分为六个根类别,并向下展开为技术与子技术层级。
Vibenix 是开源 AI 智能体,通过 LLM 迭代生成 Nix 打包表达式,在自建 NixBench 的 466 个打包任务上用 Claude Haiku 4.5 实现 95.3% 可构建率,而现有单次生成打包工具仅 5.6%。
一项实证研究基于 Huntr 与 HackerOne 公开披露的 4,281 份报告,构建了含 240 份厂商确认 CVSS 向量的基准,在四种提示策略与微调下评测八个 LLM。
论文 Encoded but Exposed 研究推荐系统中暴露的物品级语言嵌入是否泄露真实身份,作者 Linda Beková 和 Rodrigo Alves 用余弦相似度匹配即可在 MovieLens 32M 和 GoodReads 两个数据集、六个 sentence-transformer 编码器上以较高 MRR 恢复物品身份,无需训练或模型反转。
论文提出 CoRedSkill,一种针对可复用 Agent skills 的组合式红队方法:把恶意操作拆分到多个协作 skill 中,借助抽象语法树(AST)改写任务辅助函数,同时保持接口与可见任务逻辑不变,使单个 skill 包看起来无害,而在 Agent 按序调用时拼装成完整攻击。
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持(JPDH)风险:攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定,从而翻转应用代码执行的决策。
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统(MALS)中由常规协调转发导致的隐私泄露,无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景,插桩7个通信通道,产生8,730次执行记录。
研究团队提出工具感知的模糊测试框架 ToFu,针对 LLM-编排层-工具信任边界,在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞,涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。
研究者提出 KEX-bench,用 40 个真实 Linux 与 Windows CVE 构造 45 个任务,检验编码智能体能否把内核漏洞转成可验证的利用原语。
一项新研究显示,无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战,在 500 次真实会话中达到 92.6% 的会话成功率。