HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 5 条 · 更新于 07:56
arXiv推荐指数7070
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数4141 CrypSteer：用共享修复方向引导代码模型安全使用加密 API
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序，发现修复向量按误用类别而非语言聚类，并提出 CrypSteer——在模型权重不变的情况下，于生成时向内部激活加入每个模型一条共享方向，使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。
arXiv推荐指数2626 Vibenix：用 LLM 智能体自动生成 Nix 打包表达式并维护软件包
Vibenix 是开源 AI 智能体，通过 LLM 迭代生成 Nix 打包表达式，在自建 NixBench 的 466 个打包任务上用 Claude Haiku 4.5 实现 95.3% 可构建率，而现有单次生成打包工具仅 5.6%。