arXiv 论文提出 LLMON 后训练方法，将间接提示词注入成功率从 53-100% 降至 0.02-5.6%
arXiv:2610.38120 论文提出 LLMON（LLM Object Notation）后训练方法，通过结构化对象标记让模型区分可执行指令与被动上下文数据，并要求基于显式标识符执行，以降低 RAG 与工具调用场景下的提示词注入风险。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 9 条 · 更新于 15:38
安全paper推荐指数6161
arXiv推荐指数4141 KrishokTech：带显式授权控制的孟加拉语农业咨询系统
KrishokTech 是一套孟加拉语农业咨询系统，在生成前后设置显式授权边界：检索前对高风险请求做规则准入检查并要求指明作物，生成后由验证器剔除缺乏 BARI/BRRI 证据支撑的剂量表述。
安全paper推荐指数5555 nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
arXiv推荐指数4040 CAT-RAG：用类别感知的智能体检索改进安全代码生成
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架，用语言特定的安全类别替代 CWE 级检索，可作为独立安全层或 RACG 管线的即插即用附加组件，无需修改底层模型。在 CyberSecEval 上，其安全代码生成改进幅度接近当前最优方法的两倍（23.57% vs. 12.11%），同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。