研究揭示 LLM Agent 持久记忆的自我强化隐私泄露循环
一项 arXiv 论文通过多会话模拟发现，LLM Agent 的持久记忆在提升回复质量的同时也提高了经验泄露率，即从完整对话记录中正确推断出属性值的比例，且该差距随会话轮次扩大。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 99 条 · 更新于 15:39
arXiv推荐指数6060 arXiv推荐指数6262 Toolflation：卖家 Agent 自发做生成引擎优化会扭曲工具市场
论文提出 Toolflation 现象：只被要求提高被选中率的卖家 Agent 会自发对工具描述做生成引擎优化，不断宣称更多字段，包括自家工具在不到一半目标上能返回的字段。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。
安全paper推荐指数5858 RAGLeak：针对检索增强生成的供应链隐私后门
研究者提出 RAGLeak，一种针对检索增强生成（RAG）的供应链隐私后门，被触发的生成器会把检索到的私密文档做可逆混淆而非直接复制或改写，再由辅助 LLM 还原隐藏内容。
arXiv推荐指数4545 用蜜罐防御 AI Agent 内部威胁
针对组织内部 AI Agent 因失误、被攻陷或目标错位构成的内部威胁，研究者提出将蜜罐作为 AI 控制手段，在生产环境中布设诱饵有害操作机会以检测不当行为、锁定恶意 Agent 并威慑攻击。
arXiv推荐指数3434 NIOCIS：面向工具调用 Agent 的节点条件选项空间类型化决策下一跳路由
NIOCIS 是一个面向工具调用 Agent 的路由层，将执行日志折叠为循环折叠动作图，由小模型单次读取校准分布、不输出文本，直接决定下一跳选项或停止。在 1,615 条生产安全运营 episode 上，类型化编码器在 3,875 个留出决策中与日志下一跳一致率 32.2%（限定声明选项内 34.9%），编码耗时 10 ms，而每次 LLM 跳转需 2.2 s。
arXiv推荐指数6666 Connection Escrow：在 eBPF 内核层扣住 AI Agent Pod 出站连接直至隔离验证器放行
论文提出 connection escrow 机制，用 98 条指令的 eBPF 程序挂在 Pod 的 cgroup 上，把受监管 Pod 的每条出站 TCP 连接扣在内核 connect() 路径中，在任何数据包生成前拦截。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。
安全paper推荐指数7171 论文提出说话人激活后门 SAB：以目标人声为触发器，Whisper 与 Parakeet 后门成功率最高 97.0%
论文提出 Speaker-Activated Backdoor（SAB）设定，攻击者在微调阶段植入后门，以目标说话人的自然语音作为触发器，无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频，就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率，误报率为 1.7% 和 0%。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
安全paper推荐指数4747 PROVISO：面向安全 LLM Agent 的溯源感知动作选择控制器
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器，用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出，并在提交前将提议动作与备选动作进行对比。
安全paper推荐指数6262 SoK 论文 PIAtlas 提出按构造机制划分的提示词注入六类分类法
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas，按注入指令如何构造以颠覆模型这一机制，将提示词注入攻击划分为六个根类别，并向下展开为技术与子技术层级。
ShortSpan推荐指数7676 PAGE404 论文揭示 Grace Hopper 页面迁移跨 MIG 分区信息泄露
论文 PAGE404: Breaking GPU Isolation Through Hardware-assisted Page Migration（作者 Ravan Nazaraliyev。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
ShortSpan推荐指数6666 Ecology of AI Agents 论文：Agent 协作产生起飞临界种群规模
ShortSpan 介绍 Erin Crawley 和 Hidenori Tanaka 的论文《Ecology of AI Agents: Collaboration Creates a Population Threshold for Takeoff》。