TextSeal2：基于 Copula Mixing 与无记忆竞赛的无失真 LLM 水印论文
arXiv 论文提出 TextSeal2，一种无失真 LLM 水印方案，在投机解码下被拒绝草稿替换的 token 仍保留相同密钥的水印信号，接受率不变，且不引入可测量的推理延迟。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv推荐指数5656 arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数5050 厘清语言模型数据归因的设计空间：CATT 基准与负对数几率梯度改进
研究提出 Controlled Attribution Benchmark（CATT），通过在完全虚构的知识上微调大语言模型，为数据归因提供无歧义的真值，并系统改变文档冗余度与词汇干扰项等单一配置，发现二者会持续降低归因性能。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数3838 MetaReJ：基于蜕变测试检测 LLM 自动程序修复中的错误解释
MetaReJ 提出首个基于蜕变测试（metamorphic testing）的检测方法，用于识别 LLM 自动程序修复（APR）系统生成的错误解释，无需外部验证器。
arXiv推荐指数3838 DIFUZZI：基于 LLM 的差分模糊测试工具，用于代码功能相似性评估
DIFUZZI 是一款差分模糊测试工具，通过引入基于 LLM 的输入生成器合成步骤（迭代验证与修复），自动化构建适配目标程序对的输入生成器，从而降低差分模糊测试的应用门槛。该工具已开源发布，并附有演示视频。
arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
arXiv推荐指数3838 当 LLM 架构遇上智能合约漏洞检测：一项复现研究
一项对 Chen et al. 基于 LLM 的智能合约漏洞检测研究的扩展复现表明，GPT-4 上的高召回率、低精确度检测模式并不能均匀迁移到其他模型。
arXiv推荐指数3838 Splicer：基于 WebAssembly 组件的可移植、沙箱化插桩框架
Splicer 是一个 WebAssembly 组件插桩框架，通过组件互操作机制提供语义丰富的应用层类型、支持可插拔工具链，并将每个工具限制在显式授权的沙箱中运行，以解决跨语言、跨运行时插桩工具在类型层级、可组合性、功能碎片化与权限控制上的割裂问题。作者在一组基准测试上评估了 Splicer，验证了用多种源语言编写的非平凡工具的可插拔性及其性能表现。
arXiv推荐指数4040 CALM：面向长周期语言智能体的冲突感知生命周期记忆治理框架
CALM 提出一种冲突感知的生命周期记忆治理框架，将持久记忆保存与查询时准入解耦，把异构记录转换为基于证据的记忆单元，并依据支持、冲突与依赖信号更新有效性与生命周期状态。
arXiv推荐指数5353 JevAct：在执行前对LLM Agent动作做策略校验的运行时验证框架
论文提出JevAct，一个针对LLM Agent的运行时验证框架，在动作执行前拦截选定操作并驱动反馈式修正。它把领域策略编译为可执行状态检查和结构化问题，由仅做prefill的决策模型给出基于概率的判断，结合工具状态的确定性校验与对话上下文的概率评估，识别潜在无效动作和过早终止任务，并给出定向反馈供有限次修正；该框架独立于底层Agent模型，无需修改其参数或工具。
arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数4848 arXiv 论文 "From Grind to Grasp"：以工作量与信息约束形式化智能体的 grasp/grind 框架，并警示涌现的 agent society
arXiv 论文 "From Grind to Grasp"（arXiv:2610.38728，cs.AI / cs.MA）提出一个形式化框架，在工作量与信息双重约束下比较成就，定义 grasp 为固定信息额度下跨工作预算的表现，并将其用于递归自我改进的判据与集体智能分析。论文警告不应让涌现的 agent society 掌握社会协调权，因其可能将工作不断导向维持自身存续与目标。
arXiv推荐指数5454 DeoGen：面向政策规范推理的自动基准生成器论文
arXiv 论文提出 DeoGen，一个可扩展、自动、参数化的规范推理（deontic reasoning）基准生成器，通过将政策规则自动形式化为一阶逻辑构建决策树，树的每条路径生成一条评测条目。评测显示前沿模型在有充分信息时正确给出裁决的比例为 89-92%，但在信息不足以支撑裁决的条目上正确率降至 22-40%，即便明确要求模型在此类情况下弃答，表现仍明显下降。
arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。