研究揭示 LLM Agent 持久记忆的自我强化隐私泄露循环
一项 arXiv 论文通过多会话模拟发现，LLM Agent 的持久记忆在提升回复质量的同时也提高了经验泄露率，即从完整对话记录中正确推断出属性值的比例，且该差距随会话轮次扩大。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
arXiv推荐指数6060 arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数4949 每个模型都留下痕迹：多分辨率 LLM 指纹识别研究
研究提出"指纹分辨率"框架，从模型分辨率（跨家族、蒸馏变体、LoRA 适配）与信号分辨率（行为、文体、词汇、语义）两个维度考察 LLM 生成文本的可归属程度。结果显示指纹可超越家族差异，在蒸馏模型乃至同一基座的 LoRA 适配版本中仍可检测；表面与词汇线索被改写后归属能力减弱，但仍有大量模型特异信号残留，且可跨提示分布与语言迁移，其中语义表征跨语言最稳健。
arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。
arXiv推荐指数6060 研究显示辩论能提升人类判断准确率，但弱AI模型无法自我纠错
arXiv 论文《Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not》研究 AI Safety via Debate 协议能否让人类与 LLM 监督者在存在先验信念的情况下接近真相。
arXiv推荐指数1818 Industrial ReMEmbR：将时空记忆扩展至机器人集群
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统，仅在按需时才生成场景描述，从而降低服务端计算开销。
Nature推荐指数6262 Nature 论文提出模块化多智能体个人健康助手 PHA 并开源评测基准
论文提出基于 Gemini 2 家族模型的模块化多智能体个人健康助手 PHA，由数据科学 DS、领域专家 DE、健康教练 HC 三个子智能体与中央 orchestrator 组成，覆盖 11 项基准、超过 7,000 条人工标注和 1,350 小时（651 小时终端用户、699 小时专家）投入。
安全paper推荐指数6666 arXiv综述按实测端点重梳118篇RAG防御研究，测试床显示阻止逐字复制仍泄露48.3%隐藏事实
arXiv:2610.30193 发布一篇系统综述，对118篇全文确认的RAG防御论文按实测端点（内容泄露、隐私代理、访问控制、语料使用检测、完整性与归属等七类）而非防御机制或宣称目标重新组织，由32名标注者双重编码，kappa=0.867。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
安全paper推荐指数4747 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
论文提出 ASR_STEP 指标，在保留二元成功判定的同时惩罚对受害模型的额外调用，以修正标准攻击成功率（ASR）忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后分数下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
安全paper推荐指数4747 小规模本地部署 LLM 在法律语境下过度拒答：刑事法律场景中的角色前缀使拒答率上升 2–20 倍
研究显示，小规模开源权重 LLM 在刑事法律日常任务中，加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后，对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示，而是用户自然的职业自述；已知的角色扮演越狱前缀效果则因模型而异，部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测，机制、任务广度与泛化性仍待进一步研究。
安全paper推荐指数5252 SpanGuard 提出轻量 IPI 防御：将指令定位与授权判定解耦
Yinxiang Wang 等人在 arXiv 论文中提出 SpanGuard，一种针对间接提示词注入（IPI）的轻量防御方法，先用无监督分割在工具输出中定位可疑指令片段，再由小模型逐块判断是否获得用户请求授权。
安全paper推荐指数5858 RAGLeak：针对检索增强生成的供应链隐私后门
研究者提出 RAGLeak，一种针对检索增强生成（RAG）的供应链隐私后门，被触发的生成器会把检索到的私密文档做可逆混淆而非直接复制或改写，再由辅助 LLM 还原隐藏内容。
安全paper推荐指数4040 面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用
论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题，在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化，但在防御引发的分布偏移下可靠性下降；语义引导在冷启动阶段稳定提升或持平静态先验调度，在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数2626 联邦学习中用户掉线场景下信息论安全聚合的基本极限
针对联邦学习安全聚合在用户掉线时无法按实际掉线情况调整通信的问题，研究者提出在 T-colluding 安全约束下的自适应安全聚合框架，用单一方案适配所有可行掉线场景。
arXiv推荐指数2626 IEEE S&P 27 研究：临终关怀中的数字隐私——照护扩张与控制力衰退
一项被 IEEE S&P 27 接收的研究通过对 21 名临终患者、11 名家庭照护者和 8 名医生的深度访谈，揭示临终场景存在五类结构性数字隐私挑战：身体持续数字化却缺乏有效知情同意、认知衰退导致账户被非自愿代理控制、推断性数据生成超出患者认知边界、关系网络重构瓦解个体隐私边界，以及死后数据缺乏机构治理。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
arXiv推荐指数2222 IPsec 的 PQC 迁移：IKEv2 中可靠复合密钥共享机制
针对 PQC 长密钥无法装入单个 IP 包、易引发 IP 分片并导致 IKEv2 安全关联失败的问题，研究提出将经典密钥与量子密钥拼接为单一复合密钥并经 TCP 传输的 IKEv2 密钥共享机制。在 1% 丢包下握手时间比 UDP/TCP 混合机制至少优 20%，10% 丢包下优 30%，能耗在 10% 丢包下降低 29%。
arXiv推荐指数5252 FALCON：以反例为据的智能体安全编码验证框架
Tue Le 在 arXiv 提出 FALCON，一个以反例为据的验证框架，把攻击探索与行为验证分离，并通过被测程序的执行轨迹把两者连接起来。在测试时修复中，FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号，同时保持或提升功能表现。
arXiv推荐指数6262 RAGLeak：RAG 系统中的供应链隐私后门攻击
研究者提出 RAGLeak，一种将信息泄露与直接文本暴露解耦的 RAG 供应链隐私后门攻击，触发后由生成器对检索到的私密文档做可逆混淆，再由辅助 LLM 高保真还原。在三个模型家族和三个应用领域上，RAGLeak 的 ASR 最高达 100%，对正常效用影响有限，在代表性检测类防御下 ASR 最多下降 10 个百分点。该后门在干净微调后以及跨模型规模和版本仍然有效，代码已开源。
arXiv推荐指数5858 SUMMARK：用推理摘要通道验证托管大模型身份是否被替换
作者提出 SUMMARK 摘要通道水印框架，用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值，审计时仅凭声称身份和已发布输出做带密钥的统计检验，无需访问模型内部、推理日志或路由信息。
arXiv推荐指数3434 NIOCIS：面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由
NIOCIS 是一个面向工具调用 Agent 的路由层，将执行日志折叠为循环折叠动作图，由小模型单次读取校准分布、不输出文本，直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上，类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%（限定声明选项内 34.9%），编码耗时 10 ms，而每次 LLM 跳转需 2.2 s。
arXiv推荐指数5252 SpanGuard 将指令定位与授权判断解耦，实现轻量 IPI 防御
SpanGuard 提出把间接提示词注入（IPI）防御拆成两步：先用轻量无监督分割在异构工具输出中定位可疑指令，再由小语言模型做块级授权判断。作者指出小模型难以同时完成定位与授权判断，解耦后护栏对模型能力的要求明显降低。实验显示其攻击成功率为 0.32%，良性效用损失可忽略，且在更小的模型上仍然有效。
arXiv推荐指数1818 面向低层隔离安全编译证明的 blame-aware 重组方法
针对 Abate 等人的形式化验证编译器证明技术在低层失效的问题，研究提出 blame-aware 重组（blame-aware recomposition）扩展，使隔间可完全观察彼此代码时仍能完成证明。该方法引入 overlay 语义将这类观察刻画为未定义行为，并应用于基于可编程标签引用监视器的隔间隔离机制。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数5252 PhantomTac：用可贴附磁标签劫持机器人触觉系统
研究者在磁性触觉传感器中发现名为 PhantomTac 的物理层漏洞，攻击者只需在物体表面贴一枚约 0.5 mm 厚、无需供电的磁标签即可篡改传感器解读的力值，且可被条形码贴纸遮盖，属于部署后即可离开的“deploy-and-forget”攻击。
arXiv推荐指数3434 Signature Knowledge Shielding（SKS）：通过鲁棒嵌入匹配保护杀毒软件检测知识
研究者提出 Signature Knowledge Shielding（SKS）范式，用辅助的 Shielding Signatures（SS）保护现有杀毒软件规则（Protected Signatures，PS），并以逻辑 OR 将 SS 匹配与原始判定结合，使探测反馈更难归因于 PS。
arXiv推荐指数3131 Fortress：基于社交图谱结构的抗分叉透明日志协议
Fortress 提出首个基于社交图谱的抗分叉透明日志协议，用用户社交关系替代公告板或外部 gossip 网络，在每轮中要么所有用户输出相同结果，要么至少一名诚实用户生成可公开验证的不当行为证明。该协议可抵御任意恶意服务器（含可窃取用户秘密状态的快照攻击者），前提是服务器未攻陷关系密切的用户；诚实执行下带外交互仅发生在用户重置密钥时，总成本接近每次重置一次调用的下界。