nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 119 条 · 更新于 15:39
安全paper推荐指数5555 安全paper推荐指数5555 KNOX：面向生成式模型的硬件辅助监管沙箱
Vasisht Duddu、Adam Caulfield、Xi He 在 arXiv:2610.27543 提出 KNOX，一个在 TEE 内运行生成式与 Agent 工作负载的监管沙箱，在保护模型权重的同时按经证明的策略清单约束可用法规、工具调用与系统调用。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数3232 大语言模型跨语言代码翻译中的幻觉：现象与缓解
一项系统性实证研究在三个基准数据集、六组语言对和七个 LLM 上考察跨语言代码翻译幻觉，构建了语义一致性冲突、事实知识冲突、项目上下文偏离三类分类法，并人工标注 13,919 个幻觉案例。研究进一步提出 HaluCodeTran 缓解框架，结合基于 BM25 的翻译示例检索与分类法感知的反思式精炼。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数2424 CyberHull：基于凸包的确定性恶意 URL 隔离框架
CyberHull 通过结构内容熵、超链接图拓扑和语义 token 分布等多个正交特征域上的凸包边界来识别恶意 URL，检测准确率达 92%，显著高于基于 PCA 的线性基线方法的 32%。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数4949 Contextual Candour：面向混合敏感度上下文的 LLM 角色感知分级披露
研究者提出“分级披露”（graduated disclosure）访问控制框架，让 LLM 按用户授权级别校准回复的细节与敏感度，而非简单答或拒。该方法将分级披露建模为披露感知生成问题，用奖励优化抑制未授权事实泄露（含改写与近似表述）。在企业与临床基准上，其泄露显著低于 prompt、gating 与监督基线，同时保持正确性与可用性。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。
arXiv推荐指数1818 Industrial ReMEmbR：将时空记忆扩展至机器人集群
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统，仅在按需时才生成场景描述，从而降低服务端计算开销。
安全paper推荐指数6666 arXiv综述按实测端点重梳118篇RAG防御研究，测试床显示阻止逐字复制仍泄露48.3%隐藏事实
arXiv:2610.30193 发布一篇系统综述，对118篇全文确认的RAG防御论文按实测端点（内容泄露、隐私代理、访问控制、语料使用检测、完整性与归属等七类）而非防御机制或宣称目标重新组织，由32名标注者双重编码，kappa=0.867。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
安全paper推荐指数5252 SpanGuard 提出轻量 IPI 防御：将指令定位与授权判定解耦
Yinxiang Wang 等人在 arXiv 论文中提出 SpanGuard，一种针对间接提示词注入（IPI）的轻量防御方法，先用无监督分割在工具输出中定位可疑指令片段，再由小模型逐块判断是否获得用户请求授权。
arXiv推荐指数5252 FALCON：以反例为据的智能体安全编码验证框架
Tue Le 在 arXiv 提出 FALCON，一个以反例为据的验证框架，把攻击探索与行为验证分离，并通过被测程序的执行轨迹把两者连接起来。在测试时修复中，FALCON 在安全代码生成基准上的留出功能安全增益明显强于其他安全信号，同时保持或提升功能表现。
arXiv推荐指数5252 SpanGuard 将指令定位与授权判断解耦，实现轻量 IPI 防御
SpanGuard 提出把间接提示词注入（IPI）防御拆成两步：先用轻量无监督分割在异构工具输出中定位可疑指令，再由小语言模型做块级授权判断。作者指出小模型难以同时完成定位与授权判断，解耦后护栏对模型能力的要求明显降低。实验显示其攻击成功率为 0.32%，良性效用损失可忽略，且在更小的模型上仍然有效。
arXiv推荐指数5252 PhantomTac：用可贴附磁标签劫持机器人触觉系统
研究者在磁性触觉传感器中发现名为 PhantomTac 的物理层漏洞，攻击者只需在物体表面贴一枚约 0.5 mm 厚、无需供电的磁标签即可篡改传感器解读的力值，且可被条形码贴纸遮盖，属于部署后即可离开的“deploy-and-forget”攻击。
arXiv推荐指数3434 Signature Knowledge Shielding（SKS）：通过鲁棒嵌入匹配保护杀毒软件检测知识
研究者提出 Signature Knowledge Shielding（SKS）范式，用辅助的 Shielding Signatures（SS）保护现有杀毒软件规则（Protected Signatures，PS），并以逻辑 OR 将 SS 匹配与原始判定结合，使探测反馈更难归因于 PS。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。
arXiv推荐指数5959 安全技能如何引导编码 Agent 检测 Linux 内核漏洞
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证，覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
arXiv推荐指数3232 Game of Phones：用博弈论与 LLM 在“Bot Wars”中反击电话诈骗
研究者提出一个博弈论框架，让 LLM 无需微调即可通过上下文经验学习反诈骗策略，将诈骗者与反诈机器人互动建模为双人博弈，并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源，成果获 ECML PKDD 2026 接收。
安全paper推荐指数3737 Guided Diffusion：面向可信合成文本生成的扩散语言模型框架
Guided Diffusion 提出一种隐私合成文本生成框架，利用扩散语言模型的可引导性，通过引导采样与重掩码让去噪过程生成符合目标语义分布的流畅文本。语料语义嵌入经差分隐私保护后，生成即为后处理，DP 保证自然延续到合成文本。
安全paper推荐指数4747 PROVISO：面向安全 LLM Agent 的溯源感知动作选择控制器
PROVISO 是一个位于动作提议与执行之间的 LLM Agent 控制器，用溯源类型化记忆区分可信用户上下文与不可信的工具或技能输出，并在提交前将提议动作与备选动作进行对比。
arXiv推荐指数4040 CAT-RAG：用类别感知的智能体检索改进安全代码生成
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架，用语言特定的安全类别替代 CWE 级检索，可作为独立安全层或 RACG 管线的即插即用附加组件，无需修改底层模型。在 CyberSecEval 上，其安全代码生成改进幅度接近当前最优方法的两倍（23.57% vs. 12.11%），同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。
arXiv推荐指数5252 UVA 方法让代码 Agent 提问时不泄露私有代码
作者提出 utility-verified abstraction（UVA），训练本地代码 Agent 在向更强的云端模型咨询时，用角色和类型描述私有实体，同时保留专家所需的技术细节。在仓库级 issue 修复任务上，训练后的 Agent 解决 37.6% 的问题，同一模型单独工作为 25.3%；其提问泄露的私有实体比未训练时少 3.7 倍，逐字代码少 1.4 倍。
ShortSpan推荐指数6565 研究显示推荐系统语言嵌入可还原物品身份并致用户再识别
论文 Encoded but Exposed 研究推荐系统中暴露的物品级语言嵌入是否泄露真实身份，作者 Linda Beková 和 Rodrigo Alves 用余弦相似度匹配即可在 MovieLens 32M 和 GoodReads 两个数据集、六个 sentence-transformer 编码器上以较高 MRR 恢复物品身份，无需训练或模型反转。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。
ShortSpan推荐指数7474 研究论文揭示 schema 合法判定可被用于劫持应用决策
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持（JPDH）风险：攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定，从而翻转应用代码执行的决策。
ShortSpan推荐指数6666 研究：封闭意图词表而非护栏才是阻止被劫持 SOC Agent 的关键
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构：SOC 分析 LLM 被限制在封闭意图词表内，命令由管理器按 OS 模板展开并逐参数校验，外层再套 NeMo-Guardrails 代理。
ShortSpan推荐指数7171 研究显示零样本零成本本地模型可破解 Google reCAPTCHA
一项新研究显示，无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战，在 500 次真实会话中达到 92.6% 的会话成功率。