arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险:攻击者可通过pull request修改记忆文件,在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险:攻击者可通过pull request修改记忆文件,在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
Liran Tal 等发布 VulnBench 2.0 基准,包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞(Go、JavaScript/TypeScript、Python、Java),其中 62 个跨文件,判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection(CARI)攻击设置:在多方协作的编码智能体工作流中,恶意或被攻陷的对等开发组件(如后端服务、测试框架、CI 任务)可在其运行时反馈中暗藏指令,诱导受害方智能体执行越权操作。
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》(作者 Nghi D. Q. Bui)提出一种免训练方法:让智能体在读用户回复前先写一份私有 Claim Checklist,逐条记录主张、支撑证据与置信度,收到质疑时据此决定保留、复核、澄清或修复。
论文提出一个六模块扫描器(内容提取、本地分析、组合分析、验证、报告、缓解),用于检测 Agent Skills 中的非预期漏洞及多技能组合风险。
论文提出 Ulysses,一个多智能体安全框架,用于为 Web 应用合成可验证的漏洞利用证明(Proofs of Exploitability),通过迭代探索利用假设并在独立观测的执行效果中确认成功,将候选漏洞发现转化为已验证结果。
arXiv:2610.33318 论文提出 Enclawed,一个面向 LLM 驱动 HPC 工作流的确定性安全运行时,通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank,即使控制主机或协调器被攻陷也能维持防护。
研究提出 source interventions 方法,用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本,测试编码智能体是否真能推理执行行为。
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证,覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。