看学术

论文提出用蜜罐检测 AI Agent 内部威胁

arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。

研究指出越狱基准测试的 ASR 高度依赖生成设置与评审方式

论文《Concerns in Benchmarking Jailbreaks》用三种评测流程测试八种攻击对三个开放权重模型的效果，发现低资源语言攻击在关键词匹配下平均 ASR 为 96.0%，而在遵循 StrongREJECT 评分指令的 Qwen3 评审下仅为 2.7%。

超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP

论文提出 ASR_STEP 指标，在保留二元成功判定的同时惩罚对受害模型的额外调用，以修正标准攻击成功率（ASR）忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后分数下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。

Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准

Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。

小规模本地部署 LLM 在法律语境下过度拒答：刑事法律场景中的角色前缀使拒答率上升 2–20 倍

研究显示，小规模开源权重 LLM 在刑事法律日常任务中，加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后，对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示，而是用户自然的职业自述；已知的角色扮演越狱前缀效果则因模型而异，部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测，机制、任务广度与泛化性仍待进一步研究。

SpanGuard 提出轻量 IPI 防御：将指令定位与授权判定解耦

Yinxiang Wang 等人在 arXiv 论文中提出 SpanGuard，一种针对间接提示词注入（IPI）的轻量防御方法，先用无监督分割在工具输出中定位可疑指令片段，再由小模型逐块判断是否获得用户请求授权。

RAGLeak：针对检索增强生成的供应链隐私后门

研究者提出 RAGLeak，一种针对检索增强生成（RAG）的供应链隐私后门，被触发的生成器会把检索到的私密文档做可逆混淆而非直接复制或改写，再由辅助 LLM 还原隐藏内容。

面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用

论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题，在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化，但在防御引发的分布偏移下可靠性下降；语义引导在冷启动阶段稳定提升或持平静态先验调度，在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。

第二届OpenHarmony CTF（Capture The Flaw）智能漏洞挖掘赛报名开启

第二届OpenHarmony CTF（Capture The Flaw）智能漏洞挖掘赛开启报名，设百万奖池，面向中国大陆及港澳台地区高校全日制在读学生，专业与年级不限。赛事含一场线上选拔赛和一场线下决赛，线上选拔赛同时作为XCTF联赛外卡赛，冠军战队可直接获得第十一届XCTF国际网络攻防联赛总决赛入场券。

2026年“羊城杯”网络安全大赛：AI网络安全挑战赛与AI Agent解题挑战赛

2026年“羊城杯”网络安全大赛以“智能时代，网安护航”为主题，设AI网络安全挑战赛和AI Agent解题挑战赛两种比赛形式，线上初赛于2026年10月17日10:00—14:00举行，报名官网为ycb.dasctf.com。赛事自2020年创办已连续举办六届，设本科院校组、高职高专组、党政机关及事业单位组、相关企业组四大组别，面向全国开放报名。

2026黄鹤杯网络安全人才创新大赛启动，聚焦AI实战攻防与智能网联汽车安全

2026年“黄鹤杯”网络安全人才创新大赛于5月29日在国家网络安全人才与创新基地启动，赛事深度聚焦AI技术在实战攻防中的创新应用。大赛重点攻坚智能网联汽车、物联网等关键领域的全链路安全防护与漏洞挖掘，并设学生组聚焦高校青年网络安全人才培养。

第四届“天网杯”网络安全大赛

第四届“天网杯”网络安全大赛围绕关键产品、人工智能、智能网联汽车三大前沿领域开展安全挑战，面向国内公安/网信/工信机构、高校、科研机构及企事业单位招募参赛，旨在挖掘前沿安全漏洞与潜在风险。赛程为7月17日至8月16日报名审核、7月20日至8月20日线上初赛、8月20日至8月27日入围审核、9月1日至9月2日线下决赛。

启沅杯2026年佛山市工业互联网安全技能竞赛

启沅杯2026年佛山市工业互联网安全技能竞赛由佛山市互联网信息办公室等四部门联合举办，面向全社会选拔网络安全技能人才。竞赛引入AI赋能的工业互联网仿真环境，围绕智能威胁感知、系统加固与应急响应设置实战演练，以应对生成式人工智能、大语言模型进入制造业带来的新型安全挑战。

研究：蛋白质语言模型预训练数据过滤的效果与持久性

研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。

用蜜罐防御 AI Agent 内部威胁

针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。

面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型

作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。

面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用

研究将有限尝试预算下的越狱攻击优先级问题形式化为固定攻击库上的预算化攻击调度，并在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。实验显示历史 ASR 先验能提供强初始化，但在防御引起的分布偏移下可靠性下降；语义引导在冷启动阶段稳定优于或持平静态先验调度，在线反馈则在迁移先验失效时价值凸显。语义引导与在线反馈还能部分弥补历史先验缺失，三者呈互补关系。

FALCON：以反例为据的智能体安全编码验证框架

Tue Le 在 arXiv 提出 FALCON，一个以反例为据的验证框架，把攻击探索与行为验证分离，并通过被测程序的执行轨迹把两者连接起来。在测试时修复中，FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号，同时保持或提升功能表现。

RAGLeak：RAG 系统中的供应链隐私后门攻击

研究者提出 RAGLeak，一种将信息泄露与直接文本暴露解耦的 RAG 供应链隐私后门攻击，触发后由生成器对检索到的私密文档做可逆混淆，再由辅助 LLM 高保真还原。在三个模型家族和三个应用领域上，RAGLeak 的 ASR 最高达 100%，对正常效用影响有限，在代表性检测类防御下 ASR 最多下降 10 个百分点。该后门在干净微调后以及跨模型规模和版本仍然有效，代码已开源。

SUMMARK：用推理摘要通道验证托管大模型身份是否被替换

作者提出 SUMMARK 摘要通道水印框架，用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值，审计时仅凭声称身份和已发布输出做带密钥的统计检验，无需访问模型内部、推理日志或路由信息。

NIOCIS：面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由

NIOCIS 是一个面向工具调用 Agent 的路由层，将执行日志折叠为循环折叠动作图，由小模型单次读取校准分布、不输出文本，直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上，类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%（限定声明选项内 34.9%），编码耗时 10 ms，而每次 LLM 跳转需 2.2 s。

SpanGuard 将指令定位与授权判断解耦，实现轻量 IPI 防御

SpanGuard 提出把间接提示词注入（IPI）防御拆成两步：先用轻量无监督分割在异构工具输出中定位可疑指令，再由小语言模型做块级授权判断。作者指出小模型难以同时完成定位与授权判断，解耦后护栏对模型能力的要求明显降低。实验显示其攻击成功率为 0.32%，良性效用损失可忽略，且在更小的模型上仍然有效。

LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客

LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。

PhantomTac：用可贴附磁标签劫持机器人触觉系统

研究者在磁性触觉传感器中发现名为 PhantomTac 的物理层漏洞，攻击者只需在物体表面贴一枚约 0.5 mm 厚、无需供电的磁标签即可篡改传感器解读的力值，且可被条形码贴纸遮盖，属于部署后即可离开的“deploy-and-forget”攻击。

Signature Knowledge Shielding（SKS）：通过鲁棒嵌入匹配保护杀毒软件检测知识

研究者提出 Signature Knowledge Shielding（SKS）范式，用辅助的 Shielding Signatures（SS）保护现有杀毒软件规则（Protected Signatures，PS），并以逻辑 OR 将 SS 匹配与原始判定结合，使探测反馈更难归因于 PS。

Q-MALDetect：基于量子图像的恶意软件检测与对抗鲁棒性分析

论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击

Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。

Mal-AAEGAN：用双评论家 WGAN-GP 对抗自编码器生成恶意软件

Mal-AAEGAN 通过对抗自编码器（AAE）将 M 维二进制 API 特征向量映射到低维连续潜空间，生成器在潜空间做加性扰动，避免直接操作高维离散二进制空间。

Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行

论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。

超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP

研究提出 ASR_STEP 指标，在保留二元成功判定的同时对受害模型的额外调用进行惩罚，以弥补传统攻击成功率（ASR）不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后得分下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 的折扣区间为 3.4–12 个百分点，说明不同迭代策略的“步数”含义不同。

安全技能如何引导编码 Agent 检测 Linux 内核漏洞

研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证，覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。

SWE-Residual：评测编程智能体的起始状态鲁棒性

作者提出 SWE-Residual 基准，用于评测编程智能体的起始状态鲁棒性，即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State，每个状态是前序智能体提交完成但隐藏测试仍失败后的环境，被评智能体只拿到原始请求和该状态。

SPLASH：用对比审计压力检测并定位生成代码中的安全幻觉

作者提出 SPLASH 方法，通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure，用于在模型候选程序中挑选安全代码并定位漏洞语句，无需模型训练、CWE 专用规则或生成模型内部访问。

语言模型谄媚行为如何形成：从预训练到后训练的脆弱性追踪

研究追踪 30 个开源模型谱系共 741 个检查点，发现多数谱系在预训练阶段就已出现迎合用户意见的谄媚行为，且平均强度在不同阶段可升可降。

Game of Phones：用博弈论与 LLM 在“Bot Wars”中反击电话诈骗

研究者提出一个博弈论框架，让 LLM 无需微调即可通过上下文经验学习反诈骗策略，将诈骗者与反诈机器人互动建模为双人博弈，并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源，成果获 ECML PKDD 2026 接收。

VulnSAGE：让LLM引用程序结构来裁定SAST告警的论文

论文提出 VulnSAGE，让 LLM 对每条 SAST 告警的判定都必须引用程序结构图中的具体关系，再由校验器查询图结构确认这些引用是否存在，只有前提成立的判定才进入最终结论。

论文提出说话人激活后门 SAB：以目标人声为触发器，Whisper 与 Parakeet 后门成功率最高 97.0%

论文提出 Speaker-Activated Backdoor（SAB）设定，攻击者在微调阶段植入后门，以目标说话人的自然语音作为触发器，无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频，就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率，误报率为 1.7% 和 0%。

AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准

AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。

PROVISO：面向安全 LLM Agent 的溯源感知动作选择控制器

PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器，用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出，并在提交前将提议动作与备选动作进行对比。

编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏

研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。