arXiv 论文提出 LLMON 后训练方法，将间接提示词注入成功率从 53-100% 降至 0.02-5.6%
arXiv:2610.38120 论文提出 LLMON（LLM Object Notation）后训练方法，通过结构化对象标记让模型区分可执行指令与被动上下文数据，并要求基于显式标识符执行，以降低 RAG 与工具调用场景下的提示词注入风险。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 5 条 · 更新于 15:38
安全paper推荐指数6161
arXiv推荐指数5353 GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：IOI 电路坍缩而 Greater-Than 电路存活
arXiv 论文 arXiv:2610.37157 用 linear CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和 activation patching 对比 GPT-2 与其六层学生模型 DistilGPT-2 在两个经典电路上的机制差异。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数4545 CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。