arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 10 条 · 更新于 15:23
安全paper推荐指数7272 arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。
arXiv推荐指数3131 RegoMender：面向 Rego 策略自动修复的多智能体框架
RegoMender 是反馈引导的多智能体框架，通过共享黑板与原子工具包动态执行打补丁、重写或回滚，用于修复 Rego 策略。团队同时发布首个自动化 Rego 策略基准 RegoBench，含 1,159 个真实缺陷；RegoMender 在 RegoBench 上语法与基于测试的语义成功率分别为 82.9% 和 77.9%，超出最强基线 13.4%。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。