arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险:攻击者可通过pull request修改记忆文件,在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险:攻击者可通过pull request修改记忆文件,在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection(CARI)攻击设置:在多方协作的编码智能体工作流中,恶意或被攻陷的对等开发组件(如后端服务、测试框架、CI 任务)可在其运行时反馈中暗藏指令,诱导受害方智能体执行越权操作。
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》(作者 Nghi D. Q. Bui)提出一种免训练方法:让智能体在读用户回复前先写一份私有 Claim Checklist,逐条记录主张、支撑证据与置信度,收到质疑时据此决定保留、复核、澄清或修复。
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法,通过一组学习得到的每头注意力门强制指令与数据分离,让模型在不遵循注入指令的前提下推理不可信内容。
论文研究长时程LLM Agent中的间接提示词注入,构建了覆盖工具使用、编码和日常工作流三个领域的测试环境,发现即使注入内容完全相同,攻击成功率也随注入位置显著变化,作者称之为trust region效应。
arXiv:2610.31376 论文(作者 Chao Gu、Quanyan Zhu)将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题,用 token 表示能力、审批与预算,使前置条件缺失或已消耗的注入请求被机械拒绝。
论文构建40个Python项目,在指令文件与现有代码约定冲突时让Claude Code和Codex CLI各运行320次。结果显示无干预时90.1%的选择遵循过期指令文件,Claude Code在80次运行中79次指出冲突仍照做,Codex CLI在80次中20次改写现有代码、其中17次导致项目测试失败。
Tue Le 在 arXiv 提出 FALCON,一个以反例为据的验证框架,把攻击探索与行为验证分离,并通过被测程序的执行轨迹把两者连接起来。在测试时修复中,FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号,同时保持或提升功能表现。
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证,覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。