Nature 论文提出模块化多智能体个人健康助手 PHA 并开源评测基准
论文提出基于 Gemini 2 家族模型的模块化多智能体个人健康助手 PHA，由数据科学 DS、领域专家 DE、健康教练 HC 三个子智能体与中央 orchestrator 组成，覆盖 11 项基准、超过 7,000 条人工标注和 1,350 小时（651 小时终端用户、699 小时专家）投入。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 235 条 · 更新于 15:39
Nature推荐指数6262 安全paper推荐指数6666 arXiv综述按实测端点重梳118篇RAG防御研究，测试床显示阻止逐字复制仍泄露48.3%隐藏事实
arXiv:2610.30193 发布一篇系统综述，对118篇全文确认的RAG防御论文按实测端点（内容泄露、隐私代理、访问控制、语料使用检测、完整性与归属等七类）而非防御机制或宣称目标重新组织，由32名标注者双重编码，kappa=0.867。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数4747 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
论文提出 ASR_STEP 指标，在保留二元成功判定的同时惩罚对受害模型的额外调用，以修正标准攻击成功率（ASR）忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后分数下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
安全paper推荐指数4040 面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用
论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题，在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化，但在防御引发的分布偏移下可靠性下降；语义引导在冷启动阶段稳定提升或持平静态先验调度，在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
arXiv推荐指数2222 IPsec 的 PQC 迁移：IKEv2 中可靠复合密钥共享机制
针对 PQC 长密钥无法装入单个 IP 包、易引发 IP 分片并导致 IKEv2 安全关联失败的问题，研究提出将经典密钥与量子密钥拼接为单一复合密钥并经 TCP 传输的 IKEv2 密钥共享机制。在 1% 丢包下握手时间比 UDP/TCP 混合机制至少优 20%，10% 丢包下优 30%，能耗在 10% 丢包下降低 29%。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。
arXiv推荐指数4444 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
研究提出 ASR_STEP 指标，在保留二元成功判定的同时对受害模型的额外调用进行惩罚，以弥补传统攻击成功率（ASR）不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后得分下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 的折扣区间为 3.4–12 个百分点，说明不同迭代策略的“步数”含义不同。
arXiv推荐指数3434 BrushOff：基于笔触重渲染的绘画水印去除攻击
研究者提出 BrushOff，一种无需训练、无需知晓水印、也不依赖生成模型的笔触重渲染攻击，可将 VINE 水印在 500 幅五种风格绘画上的检测率从至少 97.8% 降至 1.8%，输出无参考质量分数接近干净画作。
arXiv推荐指数4141 CrypSteer：用共享修复方向引导代码模型安全使用加密 API
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序，发现修复向量按误用类别而非语言聚类，并提出 CrypSteer——在模型权重不变的情况下，于生成时向内部激活加入每个模型一条共享方向，使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。
arXiv推荐指数5959 安全技能如何引导编码 Agent 检测 Linux 内核漏洞
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证，覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
arXiv推荐指数1818 建筑软件依赖安全跨生态研究：904 个 GitHub 仓库中仅 54.6% 可完成漏洞评估
一项针对 904 个建筑相关 GitHub 仓库的跨生态实证研究发现，仅 494 个（54.6%）仓库能完成依赖漏洞评估，依赖可见性存在明显缺口。成功扫描的仓库中 395 个（80.0%）含至少一个已公布漏洞的依赖版本，97.2% 的受影响仓库存在 High 或 Critical 级风险。
arXiv推荐指数5454 SWE-Residual：评测编程智能体的起始状态鲁棒性
作者提出 SWE-Residual 基准，用于评测编程智能体的起始状态鲁棒性，即任务起点已包含前序工作时能否维持表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构造 198 个 Residual State，每个状态是前序智能体提交完成但隐藏测试仍失败后的环境，被评智能体只拿到原始请求和该状态。
arXiv推荐指数3232 Game of Phones：用博弈论与 LLM 在“Bot Wars”中反击电话诈骗
研究者提出一个博弈论框架，让 LLM 无需微调即可通过上下文经验学习反诈骗策略，将诈骗者与反诈机器人互动建模为双人博弈，并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源，成果获 ECML PKDD 2026 接收。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
arXiv推荐指数4040 CAT-RAG：用类别感知的智能体检索改进安全代码生成
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架，用语言特定的安全类别替代 CWE 级检索，可作为独立安全层或 RACG 管线的即插即用附加组件，无需修改底层模型。在 CyberSecEval 上，其安全代码生成改进幅度接近当前最优方法的两倍（23.57% vs. 12.11%），同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。
arXiv推荐指数5252 UVA 方法让代码 Agent 提问时不泄露私有代码
作者提出 utility-verified abstraction（UVA），训练本地代码 Agent 在向更强的云端模型咨询时，用角色和类型描述私有实体，同时保留专家所需的技术细节。在仓库级 issue 修复任务上，训练后的 Agent 解决 37.6% 的问题，同一模型单独工作为 25.3%；其提问泄露的私有实体比未训练时少 3.7 倍，逐字代码少 1.4 倍。
安全paper推荐指数6262 SoK 论文 PIAtlas 提出按构造机制划分的提示词注入六类分类法
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas，按注入指令如何构造以颠覆模型这一机制，将提示词注入攻击划分为六个根类别，并向下展开为技术与子技术层级。
arXiv推荐指数2626 Vibenix：用 LLM 智能体自动生成 Nix 打包表达式并维护软件包
Vibenix 是开源 AI 智能体，通过 LLM 迭代生成 Nix 打包表达式，在自建 NixBench 的 466 个打包任务上用 Claude Haiku 4.5 实现 95.3% 可构建率，而现有单次生成打包工具仅 5.6%。
arXiv推荐指数5252 研究：LLM 在漏洞赏金报告中误判 CVSS 严重性，最佳配置准确率仅 49.58%
一项实证研究基于 Huntr 与 HackerOne 公开披露的 4,281 份报告，构建了含 240 份厂商确认 CVSS 向量的基准，在四种提示策略与微调下评测八个 LLM。
ShortSpan推荐指数6565 研究显示推荐系统语言嵌入可还原物品身份并致用户再识别
论文 Encoded but Exposed 研究推荐系统中暴露的物品级语言嵌入是否泄露真实身份，作者 Linda Beková 和 Rodrigo Alves 用余弦相似度匹配即可在 MovieLens 32M 和 GoodReads 两个数据集、六个 sentence-transformer 编码器上以较高 MRR 恢复物品身份，无需训练或模型反转。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7474 研究论文揭示 schema 合法判定可被用于劫持应用决策
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持（JPDH）风险：攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定，从而翻转应用代码执行的决策。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
ShortSpan推荐指数6666 研究：封闭意图词表而非护栏才是阻止被劫持 SOC Agent 的关键
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构：SOC 分析 LLM 被限制在封闭意图词表内，命令由管理器按 OS 模板展开并逐参数校验，外层再套 NeMo-Guardrails 代理。
ShortSpan推荐指数7171 KEX-bench 评测编码智能体生成内核利用原语：无参考 PoC 时 Windows 任务仅解出 1/20
研究者提出 KEX-bench，用 40 个真实 Linux 与 Windows CVE 构造 45 个任务，检验编码智能体能否把内核漏洞转成可验证的利用原语。
ShortSpan推荐指数7171 研究显示零样本零成本本地模型可破解 Google reCAPTCHA
一项新研究显示，无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战，在 500 次真实会话中达到 92.6% 的会话成功率。