基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 74 条 · 更新于 15:39
arXiv推荐指数2424 arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数2828 LEAN：通过损失工程调制模型权重敏感度分布，实现高效容错神经网络
LEAN 提出一种复合正则化方法，可在微调或训练末期用十个 epoch 系统性调制已训练模型的权重敏感度分布，在九个视觉模型（ResNet-18、ResNet-50、VGG-16 于 CIFAR-10、CIFAR-100、ImageNet）上将敏感尾部缩小 5 至 13 倍，精度损失在 0.5 个百分点以内。
arXiv推荐指数3131 扩散模型敏感度几何与强对偶：实现最优隐私-效用权衡
研究提出面向理想扩散去噪器的最优隐私-效用权衡框架，用精确敏感度刻画替代保守的直径式敏感度上界，并给出可证明最优的噪声校准。最坏情况敏感度仅需两条记录即可精确刻画，数据域大小为 m 时分析约束最多降至 m(m-1) 个，且可任意紧于传统上界。该工作还给出 Rényi、近似与高斯差分隐私的精确保证，并通过半定规划计算最小加权均方误差、证明强对偶以提供全局最优性证书。
arXiv推荐指数2222 NumAnchor：为汇编语言模型提供地址锚定的数值操作数表示
NumAnchor 是一种输入边界适配器，将汇编语言模型中可恢复的数值类操作数表示为带类型、规范化的程序实体，在不增加宿主序列长度的前提下保留实体身份与局部性。
arXiv推荐指数1818 对 Datta-Komargodski-Waters 去中心化多授权 ABE 方案的密码分析与修复
研究者对 Datta、Komargodski 与 Waters 发表于 Journal of Cryptology 2023 的去中心化多授权属性基加密（ABE）方案提出明文恢复攻击，在仅一个腐败授权方、两个用户属性集即便合并腐败授权方属性仍不满足授权条件的静态模型下即可成功。
arXiv推荐指数2020 PQ-Vault：为未修改的以太坊提供可证明量子安全的资产托管
PQ-Vault 是一套面向未修改以太坊的资产托管系统，由量子安全 PoS 侧链、紧凑证书与乐观争议协议组成，要求资金转入仅依赖量子安全原语的合约。研究首次给出紧凑证书抗量子攻击的安全证明，并发现经典参数下安全强度从 128 位降至约 60 位，一条简单规则即可恢复。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
arXiv推荐指数3131 RegoMender：面向 Rego 策略自动修复的多智能体框架
RegoMender 是反馈引导的多智能体框架，通过共享黑板与原子工具包动态执行打补丁、重写或回滚，用于修复 Rego 策略。团队同时发布首个自动化 Rego 策略基准 RegoBench，含 1,159 个真实缺陷；RegoMender 在 RegoBench 上语法与基于测试的语义成功率分别为 82.9% 和 77.9%，超出最强基线 13.4%。
安全paper推荐指数6060 论文论证投毒式神经网络后门不具备密码学不对称性
arXiv 论文 2610.28045 提出归约论证，认为投毒式神经网络后门无法像密码学认证方案那样形成不对称性：若投毒训练能让模型对未见触发器稳定触发并保持正常行为，该训练过程本身就是一个触发器验证器学习器。
arXiv推荐指数2626 SyLares：面向免编译补丁存在性测试的神经符号推理引擎
SyLares 将免编译补丁存在性测试重构为神经符号推理，由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入，最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道，符号通道仅在 20% 代码案例中成功，其余回退到 LLM 裁决，易产生幻觉且两通道无法互相增强。
arXiv推荐指数2424 SSTA：面向认知雷达的时空对抗攻击，跨9个模型黑盒攻击成功率超基线10.36%
研究者提出物理先验驱动的分段时空攻击 SSTA，通过全局-局部特征解耦分割机制提升跨架构迁移性，并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中，SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB，噪底抬升严格落在恒虚警率容限内。
arXiv推荐指数1818 结合紧凑共享与预处理：Big Secrets Small Shares 重新审视安全多方计算
论文将 Damgård-Nielsen 的预处理方法与 Cramer-Damgård-de Haan 的 ramp 秘密共享思路结合，提出紧凑共享（compact sharing）方案，在多阶段 MPC 中实现通信开销的非渐近降低。
arXiv推荐指数3232 扩散模型采样阶段的隐私核算：可裁剪经验去噪器与混合采样器
研究提出一种免训练的可裁剪经验去噪器，作为贝叶斯最优去噪器的估计器，其单步敏感度可显式计算，使每个去噪步骤构成高斯机制，从而在 Gaussian DP 与 f-DP 框架下完成采样阶段的隐私核算。
arXiv推荐指数3131 在受限设备与微控制器上测试 TLS 1.3 PQC
研究用 wolfSSL 在 Raspberry Pi Pico W、Pico 2 W、ESP32 和 Raspberry Pi Zero 上对 36 种 TLS 1.3 算法组合进行握手延迟与能耗基准测试。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
arXiv推荐指数6060 研究显示辩论能提升人类判断准确率，但弱AI模型无法自我纠错
arXiv 论文《Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not》研究 AI Safety via Debate 协议能否让人类与 LLM 监督者在存在先验信念的情况下接近真相。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数5858 面向 ELK 的鲁棒模型生物：在漏洞检测任务中训练选择性隐瞒的模型
作者训练模型生物在漏洞检测任务中隐瞒答案，用于实证研究“引出潜在知识”（ELK）问题。方法结合对话记录蒸馏、反提示与抗篡改训练，使模型具备选择性隐瞒、抗诱导和保留知识优势三项特性；最强模型在鲁棒性上明显优于此前模型，同时保持另两项特性。代码、模型与数据集均已公开。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
arXiv推荐指数2222 IPsec 的 PQC 迁移：IKEv2 中可靠复合密钥共享机制
针对 PQC 长密钥无法装入单个 IP 包、易引发 IP 分片并导致 IKEv2 安全关联失败的问题，研究提出将经典密钥与量子密钥拼接为单一复合密钥并经 TCP 传输的 IKEv2 密钥共享机制。在 1% 丢包下握手时间比 UDP/TCP 混合机制至少优 20%，10% 丢包下优 30%，能耗在 10% 丢包下降低 29%。
arXiv推荐指数1818 隐藏整数反馈的精确编译与资源定律
研究针对隐藏随机舍入下连续整数发布的隐私损失耦合问题，提出在可预测带符号单位参与且完全观测物理输出的理性反馈机制。保持完整进位直至观测回波同步世界，可在任意固定预算 C≥2 下实现精确有限律点编译，支撑宽度指数为 3C-2；提前释放承诺则形成单调层级，在某一固定离散高斯下，0.09 的损失容限需要全部四项承诺。
arXiv推荐指数3131 Mal-AAEGAN：用双评论家 WGAN-GP 对抗自编码器生成恶意软件
Mal-AAEGAN 通过对抗自编码器（AAE）将 M 维二进制 API 特征向量映射到低维连续潜空间，生成器在潜空间做加性扰动，避免直接操作高维离散二进制空间。
arXiv推荐指数4141 CrypSteer：用共享修复方向引导代码模型安全使用加密 API
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序，发现修复向量按误用类别而非语言聚类，并提出 CrypSteer——在模型权重不变的情况下，于生成时向内部激活加入每个模型一条共享方向，使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。
arXiv推荐指数2626 Vibenix：用 LLM 智能体自动生成 Nix 打包表达式并维护软件包
Vibenix 是开源 AI 智能体，通过 LLM 迭代生成 Nix 打包表达式，在自建 NixBench 的 466 个打包任务上用 Claude Haiku 4.5 实现 95.3% 可构建率，而现有单次生成打包工具仅 5.6%。
ShortSpan推荐指数7676 TRACER 论文揭示间接提示词注入成功率随呈现信道变化
论文 TRACER: Trace-Regularized Training Against Indirect Prompt Injection（作者 Kshitij Mishra、Salem Lahlou、Nils Lukas）发现，同一段间接提示词注入载荷作为聊天后续消息时成功率 18%，放入检索内容中则达 53%。
ShortSpan推荐指数4747 研究：强迁移对抗攻击在同等成功率下反而更隐蔽，固定扰动预算评测掩盖了这一优势
研究者提出 ST 插件式原始-对偶正则化包装器，只改现有迁移攻击的投影/更新步，在 ImageNet 兼容的 1000 张图像、ε∈[2/255,32/255] 扫描下让 7 种基础攻击的 ASR-不可感知性曲线整体外移。