arXiv 论文:自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入(IPI)的鲁棒性,采用两阶段受控方法:适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习,测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入(IPI)的鲁棒性,采用两阶段受控方法:适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习,测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法,通过一组学习得到的每头注意力门强制指令与数据分离,让模型在不遵循注入指令的前提下推理不可信内容。
arXiv:2610.37657 论文提出 Heads of Security(HoS),一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御,在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
论文构建了覆盖四个领域、2,304 条提示词的基准,用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型,发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
研究者提出物理先验驱动的分段时空攻击 SSTA,通过全局-局部特征解耦分割机制提升跨架构迁移性,并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中,SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB,噪底抬升严格落在恒虚警率容限内。
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection(作者 Kshitij Mishra、Salem Lahlou、Nils Lukas)发现,同一段间接提示词注入载荷作为聊天后续消息时成功率 18%,放入检索内容中则达 53%。
研究者提出 ST 插件式原始-对偶正则化包装器,只改现有迁移攻击的投影/更新步,在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。