SoK 论文 PIAtlas 提出按构造机制划分的提示词注入六类分类法
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas,按注入指令如何构造以颠覆模型这一机制,将提示词注入攻击划分为六个根类别,并向下展开为技术与子技术层级。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
Stavros Damianakis 与 Konstantinos Psounis 发布 SoK 论文 PIAtlas,按注入指令如何构造以颠覆模型这一机制,将提示词注入攻击划分为六个根类别,并向下展开为技术与子技术层级。
论文提出 CoRedSkill,一种针对可复用 Agent skills 的组合式红队方法:把恶意操作拆分到多个协作 skill 中,借助抽象语法树(AST)改写任务辅助函数,同时保持接口与可见任务逻辑不变,使单个 skill 包看起来无害,而在 Agent 按序调用时拼装成完整攻击。
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持(JPDH)风险:攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定,从而翻转应用代码执行的决策。
研究团队提出工具感知的模糊测试框架 ToFu,针对 LLM-编排层-工具信任边界,在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞,涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构:SOC 分析 LLM 被限制在封闭意图词表内,命令由管理器按 OS 模板展开并逐参数校验,外层再套 NeMo-Guardrails 代理。
一项新研究显示,无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战,在 500 次真实会话中达到 92.6% 的会话成功率。