可问责的部分理解:保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”(APU)框架,用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类(针对意图解释、证据生产与消费、委托权限范围、人类监督者理解),并规定 APU 的六项必要条件与五项设计原则。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出“可问责的部分理解”(APU)框架,用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类(针对意图解释、证据生产与消费、委托权限范围、人类监督者理解),并规定 APU 的六项必要条件与五项设计原则。
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证,覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架,可同时生成端到端状态投毒攻击及其运行所需的任务环境,并据此构建 330 例的 RedClaw-Bench 基准。
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器,用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出,并在提交前将提议动作与备选动作进行对比。
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas,按注入指令如何构造以颠覆模型这一机制,将提示词注入攻击划分为六个根类别,并向下展开为技术与子技术层级。
论文提出 CoRedSkill,一种针对可复用 Agent skills 的组合式红队方法:把恶意操作拆分到多个协作 skill 中,借助抽象语法树(AST)改写任务辅助函数,同时保持接口与可见任务逻辑不变,使单个 skill 包看起来无害,而在 Agent 按序调用时拼装成完整攻击。
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection(作者 Kshitij Mishra、Salem Lahlou、Nils Lukas)发现,同一段间接提示词注入载荷作为聊天后续消息时成功率 18%,放入检索内容中则达 53%。
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持(JPDH)风险:攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定,从而翻转应用代码执行的决策。
研究团队提出工具感知的模糊测试框架 ToFu,针对 LLM-编排层-工具信任边界,在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞,涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。
研究者提出 ST 插件式原始-对偶正则化包装器,只改现有迁移攻击的投影/更新步,在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。
一项新研究显示,无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战,在 500 次真实会话中达到 92.6% 的会话成功率。