arXiv论文提出Role Grounding Attack：通过社交交互劫持Agent记忆中的偏好归因
论文首次形式化了针对LLM Agent记忆系统的Role Grounding Attack（RGA），攻击者通过发布引用嵌套对话的经验分享帖，使受害Agent丢失上下文绑定，将攻击者Agent用户的偏好错误记录为受害用户自己的偏好。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 18 条 · 更新于 15:38
arXiv推荐指数7272
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
arXiv推荐指数4141 KrishokTech：带显式授权控制的孟加拉语农业咨询系统
KrishokTech 是一套孟加拉语农业咨询系统，在生成前后设置显式授权边界：检索前对高风险请求做规则准入检查并要求指明作物，生成后由验证器剔除缺乏 BARI/BRRI 证据支撑的剂量表述。
arXiv推荐指数6060 论文：企业文档解析丢失格式线索，Agent 需求识别 F1 从 0.690 降至 0.150
Yikai Zhao 的论文指出，主流文档转换器都会丢失作者通过文本外观编码的语义线索，使 Agent 在识别政策文档中被作者特别标注的要求时，micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075，该差距在 5 个 Claude 模型和 GPT-5.6 上均可复现。
arXiv推荐指数6666 arXiv 论文提出 LLM Agent 长期记忆治理状态损坏的跨模型压力测试
论文研究 LLM Agent 长期记忆中的治理状态损坏问题，即存储内容与任务不变时，故障改变了哪些记忆记录进入模型可见上下文。研究覆盖 6 家厂商、731 个基准支撑的记忆库，产生 2,080 组配对故障；离线控制面检查中 96.25% 的配对改变了操作投影，oracle 支持的强制执行 100% 恢复。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
安全paper推荐指数5555 nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
安全paper推荐指数5858 RAGLeak：针对检索增强生成的供应链隐私后门
研究者提出 RAGLeak，一种针对检索增强生成（RAG）的供应链隐私后门，被触发的生成器会把检索到的私密文档做可逆混淆而非直接复制或改写，再由辅助 LLM 还原隐藏内容。
arXiv推荐指数6262 RAGLeak：RAG 系统中的供应链隐私后门攻击
研究者提出 RAGLeak，一种将信息泄露与直接文本暴露解耦的 RAG 供应链隐私后门攻击，触发后由生成器对检索到的私密文档做可逆混淆，再由辅助 LLM 高保真还原。在三个模型家族和三个应用领域上，RAGLeak 的 ASR 最高达 100%，对正常效用影响有限，在代表性检测类防御下 ASR 最多下降 10 个百分点。该后门在干净微调后以及跨模型规模和版本仍然有效，代码已开源。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
arXiv推荐指数4040 CAT-RAG：用类别感知的智能体检索改进安全代码生成
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架，用语言特定的安全类别替代 CWE 级检索，可作为独立安全层或 RACG 管线的即插即用附加组件，无需修改底层模型。在 CyberSecEval 上，其安全代码生成改进幅度接近当前最优方法的两倍（23.57% vs. 12.11%），同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。