arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
arXiv推荐指数7272 arXiv推荐指数4545 通过正交投影在持续 LLM 遗忘中保持效用（Continual Orthogonal Projection, COP）
论文提出 Continual Orthogonal Projection（COP），一种梯度投影方案，将每次更新限制在先前遗忘集激活子空间的正交补中，可证明保证与早期删除的一阶非干扰。
arXiv推荐指数2828 基于深度学习的行为漂移建模实现连续生物特征认证（arXiv:2610.40398）
一项 arXiv 研究提出两级击键动力学认证系统，通过持续行为漂移监测实现纵深防御：第一级用时序卷积网络（TCN）配合对比学习与基于种群的训练（PBT）做固定文本密码认证，等错误率（EER）3.77%；第二级在自由文本会话中用 4 模型深度学习集成持续监测，检测到可疑漂移即回退第一级重新认证。
arXiv推荐指数1212 RecHash：基于分段哈希纠缠链的有状态序列认证构造
RecHash 提出一种基于成对哈希链展开与认证记录历史的有状态序列认证构造，将每条记录分配到预定链段，互补位置编码各摘要块，使所有摘要可适配任意调度槽位而不依赖前序消息。
arXiv推荐指数5656 针对自回归声音克隆 TTS 模型的可解释声学特征研究
论文提出一套面向自回归声音克隆 TTS 模型的特征可解释性框架，通过稀疏自编码器（SAE）、PCA 与随机方向的稀疏探测、引导（steering）和量化自动可解释性分析，研究这类模型编码并使用哪些声学属性。
arXiv推荐指数5151 arXiv 提出可回退交互证明 RIP 用于高效可扩展监督
论文提出可回退交互证明（Rewindable Interactive Proofs, RIPs）这一面向可扩展监督的新型相对化交互证明模型，验证方可将证明者回退到交互早期状态并继续，适用于证明者为 AI 模型、其状态可被快照保存的场景。
arXiv推荐指数4242 Propose-Filter-Release：通过私有过滤将噪声缩放至典型敏感度
arXiv 论文提出差分隐私（Differential Privacy, DP）通用原语 Propose-Filter-Release（PFR），通过私有过滤输入，将仅对"典型记录"增删提供保护的机制转化为标准差分隐私机制，使噪声缩放从最坏情况敏感度降至典型敏感度。
arXiv推荐指数5151 arXiv 论文分析边缘大模型优化的隐私与安全风险
arXiv 论文《The Privacy and Security Risks of Edge LLM Optimization》指出，边缘部署大语言模型需要降低内存、计算与能耗的优化技术，但保持任务性能并不等于保持安全。作者将优化视为一种信息变换，认为它会改变模型表示、决策路径与信任边界，从而造成安全漂移（security drift）与优化引入的攻击面。
arXiv推荐指数88 区块链矿池算力调整攻击在实际收益分配机制下的分析
arXiv 论文分析了 T-PAW（含 FAW、PAW 特例）在实际部署的矿池收益分配机制 PPLNS、PROP、EXP 下的收益比，并提出无需扣留区块的 PAH 攻击。研究显示 GRP 会高估 PROP 下 T-PAW 收益最高达一个数量级、低估 EXP 下收益；PROP 对 PAH 高度脆弱，PPLNS 最不易受攻击，对 PAH 免疫且缓解 T-PAW。
arXiv推荐指数6262 arXiv 论文提出模板化多语言安全对齐数据集 MSafeTemp，覆盖 60 种语言
论文提出基于模板的可扩展增强流水线，从有害提示中提取安全模板、翻译后填入具有文化真实性的实体，生成大规模多语言拒绝与良性语料，并发布覆盖 60 种语言的 MSafeTemp 数据集。实验显示仅用英文评测会误判多语言安全：部分模型在英文失败的攻击翻译后成功，本地化变体还能暴露翻译无法覆盖的失败；模板增强安全训练数据可提升对齐多样性与质量，改善英文以外的安全表现。
arXiv推荐指数6262 扩散模型成员推断攻击的跨时间难度校准方法
arXiv 论文提出沿训练时间和扩散时间两个维度做难度校准，以改进扩散模型的成员推断攻击（MIA）。
arXiv推荐指数5656 TextSeal2：基于 Copula Mixing 与无记忆竞赛的无失真 LLM 水印论文
arXiv 论文提出 TextSeal2，一种无失真 LLM 水印方案，在投机解码下被拒绝草稿替换的 token 仍保留相同密钥的水印信号，接受率不变，且不引入可测量的推理延迟。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数5050 厘清语言模型数据归因的设计空间：CATT 基准与负对数几率梯度改进
研究提出 Controlled Attribution Benchmark（CATT），通过在完全虚构的知识上微调大语言模型，为数据归因提供无歧义的真值，并系统改变文档冗余度与词汇干扰项等单一配置，发现二者会持续降低归因性能。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数3838 MetaReJ：基于蜕变测试检测 LLM 自动程序修复中的错误解释
MetaReJ 提出首个基于蜕变测试（metamorphic testing）的检测方法，用于识别 LLM 自动程序修复（APR）系统生成的错误解释，无需外部验证器。
arXiv推荐指数3838 DIFUZZI：基于 LLM 的差分模糊测试工具，用于代码功能相似性评估
DIFUZZI 是一款差分模糊测试工具，通过引入基于 LLM 的输入生成器合成步骤（迭代验证与修复），自动化构建适配目标程序对的输入生成器，从而降低差分模糊测试的应用门槛。该工具已开源发布，并附有演示视频。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数3838 当 LLM 架构遇上智能合约漏洞检测：一项复现研究
一项对 Chen et al. 基于 LLM 的智能合约漏洞检测研究的扩展复现表明，GPT-4 上的高召回率、低精确度检测模式并不能均匀迁移到其他模型。
arXiv推荐指数3838 Splicer：基于 WebAssembly 组件的可移植、沙箱化插桩框架
Splicer 是一个 WebAssembly 组件插桩框架，通过组件互操作机制提供语义丰富的应用层类型、支持可插拔工具链，并将每个工具限制在显式授权的沙箱中运行，以解决跨语言、跨运行时插桩工具在类型层级、可组合性、功能碎片化与权限控制上的割裂问题。作者在一组基准测试上评估了 Splicer，验证了用多种源语言编写的非平凡工具的可插拔性及其性能表现。
arXiv推荐指数4040 CALM：面向长周期语言智能体的冲突感知生命周期记忆治理框架
CALM 提出一种冲突感知的生命周期记忆治理框架，将持久记忆保存与查询时准入解耦，把异构记录转换为基于证据的记忆单元，并依据支持、冲突与依赖信号更新有效性与生命周期状态。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数4848 arXiv 论文 "From Grind to Grasp"：以工作量与信息约束形式化智能体的 grasp/grind 框架，并警示涌现的 agent society
arXiv 论文 "From Grind to Grasp"（arXiv:2610.38728，cs.AI / cs.MA）提出一个形式化框架，在工作量与信息双重约束下比较成就，定义 grasp 为固定信息额度下跨工作预算的表现，并将其用于递归自我改进的判据与集体智能分析。论文警告不应让涌现的 agent society 掌握社会协调权，因其可能将工作不断导向维持自身存续与目标。
arXiv推荐指数5454 DeoGen：面向政策规范推理的自动基准生成器论文
arXiv 论文提出 DeoGen，一个可扩展、自动、参数化的规范推理（deontic reasoning）基准生成器，通过将政策规则自动形式化为一阶逻辑构建决策树，树的每条路径生成一条评测条目。评测显示前沿模型在有充分信息时正确给出裁决的比例为 89-92%，但在信息不足以支撑裁决的条目上正确率降至 22-40%，即便明确要求模型在此类情况下弃答，表现仍明显下降。
arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数4747 Loss is Not Behavior：基于梯度的机器遗忘在输出空间的统一分析
NeurIPS 2026 接收的 arXiv 论文（arXiv:2610.38784）推导了基于梯度的机器遗忘（machine unlearning）与仅用保留数据重训模型之间输出空间差距的闭式表达式，并通过广义 Gauss-Newton 与局部线性近似扩展至非线性模型。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6868 arXiv论文：CoT依赖度随模型规模上升并饱和，后训练不改变该依赖
论文在合成box-swap任务上用精确真值测量模型对自身思维链（CoT）的依赖度：替换CoT中一步为错误但合法的状态，检查答案是否随之改变。
arXiv推荐指数6060 RoleFUZZER：用用户行为模糊测试检验 LLM 的角色规格遵循能力
论文提出 RoleFUZZER 框架，将软件测试中的覆盖引导模糊测试迁移到大语言模型，通过用户行为覆盖网格搜索可能让模型违反角色规格的用户行为。
arXiv推荐指数5858 MindEth-Bench：基于中国心理健康伦理标准的多轮交互伦理边界评测基准
论文提出 MindEth-Bench，一个评测大语言模型在多轮心理健康交互中伦理边界遵守情况的基准，依据中国心理健康服务职业伦理标准构建，使用 Monte Carlo Tree Search（MCTS）系统探索压力测试模型边界的交互轨迹。
arXiv推荐指数5656 arXiv 论文提出幻觉严格定义：区分语义错觉、编造与表达不确定性
Hazel H. Kim 等作者在 arXiv:2610.38520 论文中主张对 LLM 幻觉采用严格定义：幻觉应是自信的错误，与表达不确定性（UNK）分开；并用重测实验区分两类幻觉——若语义等价提示都无法恢复正确答案则为编造（CF），若部分可恢复则为语义错觉（SI）。
arXiv推荐指数3434 Rosemary：面向全同态加密（FHE）的高效可适配存内加速系统
Rosemary 提出一种面向全同态加密（FHE）的异构存内加速系统，通过在 NAND flash SSD 内集成可适配硬件感知 FHE 引擎、TDAP 程序分配器与 CLCAO 编译器级密文感知优化器，解决 FHE 数据在存储与计算单元间搬运的 I/O 瓶颈——研究显示现有系统 71% 至 85% 的执行时间耗费在数据搬运而非有效计算上。
arXiv推荐指数6060 arXiv 论文揭示 Tülu-3 后训练配方使 LLM 事实核查更不信任低地位职业发帖者
论文研究六个模型家族的基座与后训练检查点，发现只有开放的 Tülu-3 配方（OLMo-2 32B、Tülu-3 70B）会让模型对低地位职业发帖者的声明更倾向于判定为假，效应低于一个百分点但统计可靠，超过训练漂移并在独立声明集上复现。
arXiv推荐指数5555 arXiv 提出弱身份信号下多轮对话隐式未成年人检测框架
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务，提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架，控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上，该方法相比同族 LLM 直接推断，平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
arXiv推荐指数5858 AI搜索中的manifest辅助检索：证据缺口与安全评测研究
arXiv论文提出AI搜索中manifest辅助检索的安全评测框架，指出既有审计未能分离消费/llms.txt对安全与效用的增量影响。研究覆盖39个来源的非系统性审计，15工具研究在单一端点45次试验中未观察到自动请求，日志研究发现2026年5月检测到文件的域名中97%无记录请求。
arXiv推荐指数4848 DecisionUnlearn-Bench：评估概率决策模型遗忘在 Schema 变化下的表现
arXiv 论文提出 DecisionUnlearn-Bench，一个评估概率决策模型机器遗忘（machine unlearning）表现的实证框架。
arXiv推荐指数6767 Tracekit Box 论文：在 Firecracker micro-VM 中运行 AI Agent 并对每次出口决策签名
arXiv 论文提出 Tracekit Box，一个 MIT 许可的开源系统（v0），让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡，所有出口（命令、外连、密钥、模型调用、工作区补丁）都经 vsock 走宿主机上的签名器，由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
arXiv推荐指数3838 R-BGNN：基于循环二分图神经网络的 McEliece 密码体系 QC-MDPC 纠错解码
论文提出循环二分图神经网络（R-BGNN）作为概念验证，用于解决 McEliece 密码体系中 QC-MDPC 码的经典置信传播解码因短环导致的解码失败问题——这类失败会泄露私钥信息，构成严重安全漏洞。
arXiv推荐指数6060 arXiv 论文提出连续风险景观视角以反思 LLM 越狱评测
论文《Rethinking LLM Jailbreak Evaluation: Continuous Risk Landscapes Beyond Binary Outcomes》指出，越狱评测通常沿用二元成功指示的攻击成功率（ASR），掩盖了可能生成的周边结构。