无需重训练的隐私审计：Shift-aware score transport 方法（arXiv:2610.31549）
arXiv 论文提出 Shift-aware score transport 方法，在审计者无法插入 canary、控制数据或重训练目标模型的观测式隐私审计场景下，利用分布外（OOD）非成员数据估计反事实的分布内非成员分数分布，缓解分布偏移导致的成员推断分数偏差。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 79 条 · 更新于 15:35
arXiv推荐指数4343
arXiv推荐指数4747 超级智能软件工程：随能力扩展的治理（OSTEON）
arXiv 论文提出"超级智能软件工程"（OSTEON）框架，主张当软件 Agent 能力超越人类工程师时，治理（门控、契约、决策与知识衰减控制）必须随能力同步扩展，否则仅靠能力无法保证软件正确性。
arXiv推荐指数5050 REGATTA：面向企业 AI Agent 的跨域测量框架与故障注入评测论文
论文提出 REGATTA（Regulatory Evaluation of Agents via Two-stage Testing and Assurance），一个面向企业 AI Agent 评测的测量框架，包含 125 项带来源引用的清单（覆盖美国与越南五个行业-司法辖区单元）、25 个故障语料，以及在设计与执行两阶段为测试套件打分的故障注入 harness。
arXiv推荐指数5454 AI辅助敏捷软件工程经验报告：代码变廉价后评测成为瓶颈
一篇 arXiv 经验报告记录了单名开发者全程零手写代码、在三个工作日内构建并部署一套合规关键、人在环路的考试评分系统的过程。作者提出核心论点：AI 对软件工程的改变不在于让编程更快，而在于改变了稀缺资源——写代码变得充裕，而可靠评测与工程判断成为约束迭代的瓶颈。
arXiv推荐指数4343 Beyond Policy Engines：绑定完备的执行准入（BCEAC）框架
arXiv 论文提出 Binding-Complete Execution Admission Contract（BCEAC），指出策略引擎给出 ALLOW 决定并不等于治理来源完整参与、上下文精确绑定或具备执行准入依据，并将治理解析、策略评估、独立准入校验与下游执行中介分离。
arXiv推荐指数4040 GhostFaceMPC：基于 MPC 的隐私保护人脸识别系统
GhostFaceMPC 是首个在安全多方计算（MPC）下完成深度卷积神经网络特征提取与匹配的端到端隐私保护人脸识别系统，全程不暴露原始图像或生物特征嵌入。论文提出面向 MPC 的 GhostFaceNet 量化方案与电路优化，使 MPC 下的人脸识别具备实用性，代码已开源。
arXiv推荐指数2222 通用 LLM 时代被忽视的上下文隐私：为何统一的提示词隐私框架不可取
论文指出，用户跨多个场景使用单一通用 LLM，促使提示词隐私研究走向统一框架，但这忽视了隐私本质上是上下文相关的，可能带来虚假安全感。作者认为未来统一框架仍需面对提示词隐私多项理想属性间的根本张力，建议转向按应用部署 LLM、按上下文评估隐私框架并提升隐私素养。
arXiv推荐指数2424 基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
WikiCFP推荐指数88 ASSURE-AI 2027 国际研讨会：AI 辅助软件工程的安全保障
ASSURE-AI 2027 国际研讨会聚焦 AI 辅助软件工程的安全保障，将于 2027 年 3 月 9 日在美国弗吉尼亚州举办，论文投稿截止日期为 2026 年 10 月 23 日。
arXiv推荐指数2626 CALLIOPE：不依赖嵌入向量、支持差分隐私的 AI 使用主题发现框架
CALLIOPE 是一个自上而下发现大规模非结构化数据（如 LLM 对话）主题层级、并支持差分隐私（DP）的框架，整个流程直接调用 LLM 能力，不依赖向量嵌入聚类。实验显示其在 DP 设置下效用优于现有基于嵌入的方法，高隐私区间尤为明显。团队用传统聚类指标及新提出的效用指标评估了输出质量。
arXiv推荐指数3131 扩散模型敏感度几何与强对偶：实现最优隐私-效用权衡
研究提出面向理想扩散去噪器的最优隐私-效用权衡框架，用精确敏感度刻画替代保守的直径式敏感度上界，并给出可证明最优的噪声校准。最坏情况敏感度仅需两条记录即可精确刻画，数据域大小为 m 时分析约束最多降至 m(m-1) 个，且可任意紧于传统上界。该工作还给出 Rényi、近似与高斯差分隐私的精确保证，并通过半定规划计算最小加权均方误差、证明强对偶以提供全局最优性证书。
arXiv推荐指数1818 对 Datta-Komargodski-Waters 去中心化多授权 ABE 方案的密码分析与修复
研究者对 Datta、Komargodski 与 Waters 发表于 Journal of Cryptology 2023 的去中心化多授权属性基加密（ABE）方案提出明文恢复攻击，在仅一个腐败授权方、两个用户属性集即便合并腐败授权方属性仍不满足授权条件的静态模型下即可成功。
arXiv推荐指数2020 PQ-Vault：为未修改的以太坊提供可证明量子安全的资产托管
PQ-Vault 是一套面向未修改以太坊的资产托管系统，由量子安全 PoS 侧链、紧凑证书与乐观争议协议组成，要求资金转入仅依赖量子安全原语的合约。研究首次给出紧凑证书抗量子攻击的安全证明，并发现经典参数下安全强度从 128 位降至约 60 位，一条简单规则即可恢复。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
安全paper推荐指数5555 KNOX：面向生成式模型的硬件辅助监管沙箱
Vasisht Duddu、Adam Caulfield、Xi He 在 arXiv:2610.27543 提出 KNOX，一个在 TEE 内运行生成式与 Agent 工作负载的监管沙箱，在保护模型权重的同时按经证明的策略清单约束可用法规、工具调用与系统调用。
arXiv推荐指数4040 AI 流水线中的保障证据复用：有效性条件、fail-closed 发布门禁与 714 条公开 DVC 流水线回放
研究提出签名证据记录的有效性条件与 fail-closed 发布门禁，用 Ed25519 数字签名实现的参考门禁在 9 个操纵场景中拦截 8 个，而仅验证签名的门禁只拦截 3 个、信任 planner 的门禁仅 1 个。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数1818 结合紧凑共享与预处理：Big Secrets Small Shares 重新审视安全多方计算
论文将 Damgård-Nielsen 的预处理方法与 Cramer-Damgård-de Haan 的 ramp 秘密共享思路结合，提出紧凑共享（compact sharing）方案，在多阶段 MPC 中实现通信开销的非渐近降低。
arXiv推荐指数2222 DISTA-LP：面向度量差分隐私的隐私保护分布式线性规划框架
DISTA-LP 是一个面向度量差分隐私（mDP）的隐私保护分布式优化框架，用紧凑的替代参数化取代原始 LP 系数矩阵上传，仅发布经校准扰动的参数向量，从而降低上传阶段的泄露与问题维度。
arXiv推荐指数2424 基于分层 DNA 密钥管理的安全多模态联邦优化框架
该论文提出一种安全多模态联邦优化框架，将本地数据保护与联邦更新保护分离：可信密钥管理方通过 HPKE 下发单一客户端密钥，客户端再用基于 HMAC 的 HKDF 本地派生各模态专属对称密钥。
arXiv推荐指数3232 扩散模型采样阶段的隐私核算：可裁剪经验去噪器与混合采样器
研究提出一种免训练的可裁剪经验去噪器，作为贝叶斯最优去噪器的估计器，其单步敏感度可显式计算，使每个去噪步骤构成高斯机制，从而在 Gaussian DP 与 f-DP 框架下完成采样阶段的隐私核算。
arXiv推荐指数4949 Contextual Candour：面向混合敏感度上下文的 LLM 角色感知分级披露
研究者提出“分级披露”（graduated disclosure）访问控制框架，让 LLM 按用户授权级别校准回复的细节与敏感度，而非简单答或拒。该方法将分级披露建模为披露感知生成问题，用奖励优化抑制未授权事实泄露（含改写与近似表述）。在企业与临床基准上，其泄露显著低于 prompt、gating 与监督基线，同时保持正确性与可用性。
arXiv推荐指数2020 面向电网边缘 OT 网络的延迟中性被动网络安全监控：OTSV 框架实测延迟差小于 0.12 毫秒
研究验证了 Operational Technology Supervisor（OTSV）三层被动监控框架在电网边缘时序敏感网络中实现延迟中性安全监控的可行性。
arXiv推荐指数3131 用数字孪生与 CSVSS 量化 ICS 网络社会影响，LLM 仅做首轮分析
一篇论文提出将数字孪生与 Cyber-Social Security 模型结合，用 Mininet 和 MiniCPS 构建虚拟化 ICS 环境模拟攻击场景。其核心是 Cyber-Social Vulnerability Scoring System（CSVSS），在 CVSS 基础上增加基于 Entity 与 Place 支柱的社会影响维度，输出单一可复现的严重性评分。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
arXiv推荐指数6060 研究显示辩论能提升人类判断准确率，但弱AI模型无法自我纠错
arXiv 论文《Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not》研究 AI Safety via Debate 协议能否让人类与 LLM 监督者在存在先验信念的情况下接近真相。
arXiv推荐指数1818 Industrial ReMEmbR：将时空记忆扩展至机器人集群
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统，仅在按需时才生成场景描述，从而降低服务端计算开销。
USENIX Conferences推荐指数1010 USENIX 安全智能体 AI 系统会议（SAIS '27）征稿，论文提交截止 2027 年 2 月 5 日
USENIX 将举办安全智能体 AI 系统会议 SAIS '27，论文提交截止时间为 2027 年 2 月 5 日。会议征稿通知（CFP）已发布，具体议题与投稿要求需查看 CFP 详情。
arXiv推荐指数2626 联邦学习中用户掉线场景下信息论安全聚合的基本极限
针对联邦学习安全聚合在用户掉线时无法按实际掉线情况调整通信的问题，研究者提出在 T-colluding 安全约束下的自适应安全聚合框架，用单一方案适配所有可行掉线场景。
arXiv推荐指数2626 IEEE S&P 27 研究：临终关怀中的数字隐私——照护扩张与控制力衰退
一项被 IEEE S&P 27 接收的研究通过对 21 名临终患者、11 名家庭照护者和 8 名医生的深度访谈，揭示临终场景存在五类结构性数字隐私挑战：身体持续数字化却缺乏有效知情同意、认知衰退导致账户被非自愿代理控制、推断性数据生成超出患者认知边界、关系网络重构瓦解个体隐私边界，以及死后数据缺乏机构治理。
arXiv推荐指数1818 面向低层隔离安全编译证明的 blame-aware 重组方法
针对 Abate 等人的形式化验证编译器证明技术在低层失效的问题，研究提出 blame-aware 重组（blame-aware recomposition）扩展，使隔间可完全观察彼此代码时仍能完成证明。该方法引入 overlay 语义将这类观察刻画为未定义行为，并应用于基于可编程标签引用监视器的隔间隔离机制。
arXiv推荐指数3131 Fortress：基于社交图谱结构的抗分叉透明日志协议
Fortress 提出首个基于社交图谱的抗分叉透明日志协议，用用户社交关系替代公告板或外部 gossip 网络，在每轮中要么所有用户输出相同结果，要么至少一名诚实用户生成可公开验证的不当行为证明。该协议可抵御任意恶意服务器（含可窃取用户秘密状态的快照攻击者），前提是服务器未攻陷关系密切的用户；诚实执行下带外交互仅发生在用户重置密钥时，总成本接近每次重置一次调用的下界。
arXiv推荐指数1818 隐藏整数反馈的精确编译与资源定律
研究针对隐藏随机舍入下连续整数发布的隐私损失耦合问题，提出在可预测带符号单位参与且完全观测物理输出的理性反馈机制。保持完整进位直至观测回波同步世界，可在任意固定预算 C≥2 下实现精确有限律点编译，支撑宽度指数为 3C-2；提前释放承诺则形成单调层级，在某一固定离散高斯下，0.09 的损失容限需要全部四项承诺。
arXiv推荐指数1818 Proof-of-ML-Inference（PoML）：用机器学习推理替代哈希算力的共识协议
研究者提出 Proof-of-ML-Inference（PoML）共识协议，让矿工在共识过程中执行用户请求的机器学习推理，以替代比特币式 PoW 中无其他用途的哈希计算。论文明确了 ML 推理安全替代哈希工作所需的计算假设并加以形式化，给出 LLM 与扩散模型满足这些假设的证据，并将协议安全性归约到 Bitcoin Backbone 模型。模拟环境中 PoML 的出块速率接近其校准的出块时间目标。
arXiv推荐指数3939 可问责的部分理解：保障 Agentic 系统的认知攻击面
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。
安全paper推荐指数3737 Guided Diffusion：面向可信合成文本生成的扩散语言模型框架
Guided Diffusion 提出一种隐私合成文本生成框架，利用扩散语言模型的可引导性，通过引导采样与重掩码让去噪过程生成符合目标语义分布的流畅文本。语料语义嵌入经差分隐私保护后，生成即为后处理，DP 保证自然延续到合成文本。