arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 31 条 · 更新于 15:39
安全paper推荐指数7272 arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数3838 模型检查器辅助 LLM 的自动化多行 Bug 修复：RISC-V 处理器案例研究
一项案例研究提出结合 LLM、断言与模型检查器 JasperGold 的自动化 RTL Bug 修复方法，在 BRISC-V RISC-V 处理器上通过变异测试实现最高 98% 的单行 RTL Bug 修复率和 93% 的多行 Bug 修复率。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。
安全paper推荐指数6060 论文论证投毒式神经网络后门不具备密码学不对称性
arXiv 论文 2610.28045 提出归约论证，认为投毒式神经网络后门无法像密码学认证方案那样形成不对称性：若投毒训练能让模型对未见触发器稳定触发并保持正常行为，该训练过程本身就是一个触发器验证器学习器。
arXiv推荐指数2626 SyLares：面向免编译补丁存在性测试的神经符号推理引擎
SyLares 将免编译补丁存在性测试重构为神经符号推理，由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入，最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道，符号通道仅在 20% 代码案例中成功，其余回退到 LLM 裁决，易产生幻觉且两通道无法互相增强。
arXiv推荐指数2424 SSTA：面向认知雷达的时空对抗攻击，跨9个模型黑盒攻击成功率超基线10.36%
研究者提出物理先验驱动的分段时空攻击 SSTA，通过全局-局部特征解耦分割机制提升跨架构迁移性，并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中，SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB，噪底抬升严格落在恒虚警率容限内。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数3131 Mal-AAEGAN：用双评论家 WGAN-GP 对抗自编码器生成恶意软件
Mal-AAEGAN 通过对抗自编码器（AAE）将 M 维二进制 API 特征向量映射到低维连续潜空间，生成器在潜空间做加性扰动，避免直接操作高维离散二进制空间。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。
ShortSpan推荐指数4747 研究：强迁移对抗攻击在同等成功率下反而更隐蔽，固定扰动预算评测掩盖了这一优势
研究者提出 ST 插件式原始-对偶正则化包装器，只改现有迁移攻击的投影/更新步，在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。