跳到正文

看学术

AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。

分类筛选1展开
共 241 条 · 更新于 15:39
10月20日周二
  1. arXiv39

    面向 LLM 红队演练的预算化攻击调度:静态先验、语义引导与在线反馈的作用

    研究将有限尝试预算下的越狱攻击优先级问题形式化为固定攻击库上的预算化攻击调度,并在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。实验显示历史 ASR 先验能提供强初始化,但在防御引起的分布偏移下可靠性下降;语义引导在冷启动阶段稳定优于或持平静态先验调度,在线反馈则在迁移先验失效时价值凸显。语义引导与在线反馈还能部分弥补历史先验缺失,三者呈互补关系。

  2. arXiv52

    FALCON:以反例为据的智能体安全编码验证框架

    Tue Le 在 arXiv 提出 FALCON,一个以反例为据的验证框架,把攻击探索与行为验证分离,并通过被测程序的执行轨迹把两者连接起来。在测试时修复中,FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号,同时保持或提升功能表现。

  3. arXiv62

    RAGLeak:RAG 系统中的供应链隐私后门攻击

    研究者提出 RAGLeak,一种将信息泄露与直接文本暴露解耦的 RAG 供应链隐私后门攻击,触发后由生成器对检索到的私密文档做可逆混淆,再由辅助 LLM 高保真还原。在三个模型家族和三个应用领域上,RAGLeak 的 ASR 最高达 100%,对正常效用影响有限,在代表性检测类防御下 ASR 最多下降 10 个百分点。该后门在干净微调后以及跨模型规模和版本仍然有效,代码已开源。

  4. arXiv58

    SUMMARK:用推理摘要通道验证托管大模型身份是否被替换

    作者提出 SUMMARK 摘要通道水印框架,用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值,审计时仅凭声称身份和已发布输出做带密钥的统计检验,无需访问模型内部、推理日志或路由信息。

  5. arXiv34

    NIOCIS:面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由

    NIOCIS 是一个面向工具调用 Agent 的路由层,将执行日志折叠为循环折叠动作图,由小模型单次读取校准分布、不输出文本,直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上,类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%(限定声明选项内 34.9%),编码耗时 10 ms,而每次 LLM 跳转需 2.2 s。

  6. arXiv52

    SpanGuard 将指令定位与授权判断解耦,实现轻量 IPI 防御

    SpanGuard 提出把间接提示词注入(IPI)防御拆成两步:先用轻量无监督分割在异构工具输出中定位可疑指令,再由小语言模型做块级授权判断。作者指出小模型难以同时完成定位与授权判断,解耦后护栏对模型能力的要求明显降低。实验显示其攻击成功率为 0.32%,良性效用损失可忽略,且在更小的模型上仍然有效。

  7. arXiv58

    LeakBench:审计临床建模 Agent 预测时泄漏引发的奖励黑客

    LeakBench 是一个可执行、由指南推导出的审计套件,用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景(MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据),并以描述性方式使用奖励黑客概念,不归因意图。

  8. arXiv52

    PhantomTac:用可贴附磁标签劫持机器人触觉系统

    研究者在磁性触觉传感器中发现名为 PhantomTac 的物理层漏洞,攻击者只需在物体表面贴一枚约 0.5 mm 厚、无需供电的磁标签即可篡改传感器解读的力值,且可被条形码贴纸遮盖,属于部署后即可离开的“deploy-and-forget”攻击。

  9. arXiv34

    Signature Knowledge Shielding(SKS):通过鲁棒嵌入匹配保护杀毒软件检测知识

    研究者提出 Signature Knowledge Shielding(SKS)范式,用辅助的 Shielding Signatures(SS)保护现有杀毒软件规则(Protected Signatures,PS),并以逻辑 OR 将 SS 匹配与原始判定结合,使探测反馈更难归因于 PS。

  10. arXiv66

    Connection Escrow:在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行

    论文提出 connection escrow 机制,用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上,把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中,在任何数据包生成前拦截。

  11. arXiv44

    超越攻击成功率:面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP

    研究提出 ASR_STEP 指标,在保留二元成功判定的同时对受害模型的额外调用进行惩罚,以弥补传统攻击成功率(ASR)不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示,GCG 折扣后得分下降 7.0–8.7 个百分点,PAP 保持不变,PAIR 的折扣区间为 3.4–12 个百分点,说明不同迭代策略的“步数”含义不同。

  12. arXiv54

    SWE-Residual:评测编程智能体的起始状态鲁棒性

    作者提出 SWE-Residual 基准,用于评测编程智能体的起始状态鲁棒性,即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State,每个状态是前序智能体提交完成但隐藏测试仍失败后的环境,被评智能体只拿到原始请求和该状态。

  13. arXiv58

    SPLASH:用对比审计压力检测并定位生成代码中的安全幻觉

    作者提出 SPLASH 方法,通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure,用于在模型候选程序中挑选安全代码并定位漏洞语句,无需模型训练、CWE 专用规则或生成模型内部访问。

  14. arXiv32

    Game of Phones:用博弈论与 LLM 在“Bot Wars”中反击电话诈骗

    研究者提出一个博弈论框架,让 LLM 无需微调即可通过上下文经验学习反诈骗策略,将诈骗者与反诈机器人互动建模为双人博弈,并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源,成果获 ECML PKDD 2026 接收。

10月19日周一
  1. 安全paper71

    论文提出说话人激活后门 SAB:以目标人声为触发器,Whisper 与 Parakeet 后门成功率最高 97.0%

    论文提出 Speaker-Activated Backdoor(SAB)设定,攻击者在微调阶段植入后门,以目标说话人的自然语音作为触发器,无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频,就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率,误报率为 1.7% 和 0%。

  2. 安全paper74

    AutoRedClaw:面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准

    AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架,可同时生成端到端状态投毒攻击及其运行所需的任务环境,并据此构建 330 例的 RedClaw-Bench 基准。

  3. 安全paper47

    PROVISO:面向安全 LLM Agent 的溯源感知动作选择控制器

    PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器,用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出,并在提交前将提议动作与备选动作进行对比。

10月18日周日
  1. arXiv41

    编码智能体的过度防御始于静默分叉:ForkDPO 用行为分歧信号纠偏

    研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合,前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。

10月17日周六
10月16日周五
10月15日周四
  1. ShortSpan78

    CoRedSkill 论文:通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计

    论文提出 CoRedSkill,一种针对可复用 Agent skills 的组合式红队方法:把恶意操作拆分到多个协作 skill 中,借助抽象语法树(AST)改写任务辅助函数,同时保持接口与可见任务逻辑不变,使单个 skill 包看起来无害,而在 Agent 按序调用时拼装成完整攻击。

  2. ShortSpan76

    TRACER 论文揭示间接提示词注入成功率随呈现信道变化

    论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection(作者 Kshitij Mishra、Salem Lahlou、Nils Lukas)发现,同一段间接提示词注入载荷作为聊天后续消息时成功率 18%,放入检索内容中则达 53%。

10月14日周三
  1. ShortSpan74

    研究论文揭示 schema 合法判定可被用于劫持应用决策

    论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持(JPDH)风险:攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定,从而翻转应用代码执行的决策。

10月12日周一
  1. ShortSpan78

    ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则

    研究团队提出工具感知的模糊测试框架 ToFu,针对 LLM-编排层-工具信任边界,在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞,涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。

10月10日周六
10月8日周四
  1. ShortSpan66

    研究:封闭意图词表而非护栏才是阻止被劫持 SOC Agent 的关键

    一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。

10月7日周三
10月6日周二
  1. ShortSpan47

    研究:强迁移对抗攻击在同等成功率下反而更隐蔽,固定扰动预算评测掩盖了这一优势

    研究者提出 ST 插件式原始-对偶正则化包装器,只改现有迁移攻击的投影/更新步,在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。

9月23日周三
9月21日周一
  1. ShortSpan58

    HE-Guardrail 让越狱护栏在同态加密下运行,加密版与明文决策一致率 99.7%

    研究提出 HE-Guardrail,在同态加密的提示词上运行越狱护栏,服务器无需看到明文即可决定返回模型回答还是固定拒答。加密版护栏与对应明文护栏的决策一致率为 99.7%,但无护栏时宏平均越狱成功率为 11.0%,Llama Guard 仅降至 7.1%,JBShield 仍为 11.0%,GradSafe 为 10.8%。

9月17日周四