Omission-Safe Conditional Contracts for Evidence-Closed CI Qualification：面向证据封闭 CI 认证的遗漏安全条件契约
arXiv 论文提出一种遗漏安全的条件契约方法，将 pinned workflow 编译为独立于目标存在的条件 job 要求，并用独立实现校验 source-complete derivation certificates。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 79 条 · 更新于 15:35
arXiv推荐指数3333 arXiv推荐指数5151 arXiv 论文提出 Agentic Process Evidence 协议，为 AI 编码智能体提供可追溯的签名证据
论文提出 Agentic Process Evidence（APE），一种对智能体过程进行签名、防篡改、机器可读的证明机制，将智能体会话与其产出结果关联（process-aware logging），以应对 AI 编码智能体在 SDLC 中带来的供应链风险、策略护栏与任务对齐三类问题。
arXiv推荐指数4141 调查 Android 游戏中的数据流
研究人员对 50 款免费解谜类 Android 游戏进行测量研究，收集并分析超过 16 GB 网络流量，以查明游戏收集了哪些数据并发送给哪些第三方。研究发现，广告拦截 DNS 等多数用户侧对策能减少数据流，但拒绝同意和退出数据收集可能产生不一致行为，甚至增加外发流量。该测量数据已作为开源数据集发布，论文被 NordSec 2026 接收。
arXiv推荐指数5151 arXiv 提出可回退交互证明 RIP 用于高效可扩展监督
论文提出可回退交互证明（Rewindable Interactive Proofs, RIPs）这一面向可扩展监督的新型相对化交互证明模型，验证方可将证明者回退到交互早期状态并继续，适用于证明者为 AI 模型、其状态可被快照保存的场景。
arXiv推荐指数4242 Propose-Filter-Release：通过私有过滤将噪声缩放至典型敏感度
arXiv 论文提出差分隐私（Differential Privacy, DP）通用原语 Propose-Filter-Release（PFR），通过私有过滤输入，将仅对"典型记录"增删提供保护的机制转化为标准差分隐私机制，使噪声缩放从最坏情况敏感度降至典型敏感度。
arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数4848 arXiv 论文 "From Grind to Grasp"：以工作量与信息约束形式化智能体的 grasp/grind 框架，并警示涌现的 agent society
arXiv 论文 "From Grind to Grasp"（arXiv:2610.38728，cs.AI / cs.MA）提出一个形式化框架，在工作量与信息双重约束下比较成就，定义 grasp 为固定信息额度下跨工作预算的表现，并将其用于递归自我改进的判据与集体智能分析。论文警告不应让涌现的 agent society 掌握社会协调权，因其可能将工作不断导向维持自身存续与目标。
arXiv推荐指数4747 Loss is Not Behavior：基于梯度的机器遗忘在输出空间的统一分析
NeurIPS 2026 接收的 arXiv 论文（arXiv:2610.38784）推导了基于梯度的机器遗忘（machine unlearning）与仅用保留数据重训模型之间输出空间差距的闭式表达式，并通过广义 Gauss-Newton 与局部线性近似扩展至非线性模型。
arXiv推荐指数6060 arXiv 论文揭示 Tülu-3 后训练配方使 LLM 事实核查更不信任低地位职业发帖者
论文研究六个模型家族的基座与后训练检查点，发现只有开放的 Tülu-3 配方（OLMo-2 32B、Tülu-3 70B）会让模型对低地位职业发帖者的声明更倾向于判定为假，效应低于一个百分点但统计可靠，超过训练漂移并在独立声明集上复现。
arXiv推荐指数4848 DecisionUnlearn-Bench：评估概率决策模型遗忘在 Schema 变化下的表现
arXiv 论文提出 DecisionUnlearn-Bench，一个评估概率决策模型机器遗忘（machine unlearning）表现的实证框架。
arXiv推荐指数4444 隐私影响评估（PIA/DPIA）实践现状：隐私专业人士的视角、经验与现行流程
一项对来自 17 个国家的 26 名隐私专业人士的半结构化访谈研究，揭示了 GDPR 生效后 PIA/DPIA 实践的真实状况。研究发现 DPIA 方法论的遵循度普遍偏低，数据主体利益在评估过程中被忽视，且专业人士讨论了在 DPIA 基础上构建 FRIA（基本权利影响评估）的可能，同时对评估疲劳表达了担忧。
arXiv推荐指数3838 STAR：基于 TEE 的可扩展匿名速率限制器
STAR 利用服务端可信执行环境（TEE）实现可扩展的匿名速率限制，在抵御 TLS/HTTP 洪水攻击的同时保护用户隐私，无需假设服务方与权威机构不串通。针对恶意服务通过内存访问模式推断用户密钥的威胁，STAR 采用针对密钥相关内存访问的反制措施并以动态分析评估实现，另设计安全分片机制分发客户端请求。
arXiv推荐指数3838 通过联邦 API 实现差分隐私选择的复杂度（NeurIPS 2026）
NeurIPS 2026 论文 arXiv:2610.38789 证明，任何依赖标准噪声聚合原语的私密选择算法都需要 Ω(√d/ε) 个样本，这一误差下界在聚合模型中不可避免。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
安全向导推荐指数6262 英国 NCSC 发布 Agentic AI 网络风险管理临时指南
英国国家网络安全中心（NCSC）于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议，提出七项实操考量：识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中，届时将取代这份临时建议。
安全向导推荐指数7070 OWASP 发布 GenAI 事件响应指南 1.0
OWASP 发布 GenAI Incident Response Guide 1.0，介绍如何响应涉及生成式 AI 的安全事件。指南说明了其与传统事件响应的差异，包括将提示词和输出作为证据、模型与数据回滚，以及同一输入可能无法复现相同故障的问题。
安全向导推荐指数5858 Cloud Security Alliance 发布面向智能体系统的 MAESTRO 威胁建模框架
Cloud Security Alliance 提出面向 agentic 系统的威胁建模方法 MAESTRO，指出传统方法因智能体会规划、调用工具并跨信任边界行动而难以适用。该框架从基础模型到智能体生态共分七层，逐层追问可能出现的问题，发布于 2025 年 2 月。
WikiCFP推荐指数1212 Cross-AI SEAS 2026 首届 Self-Evolving AI Safety 前沿研讨会征稿
Cross-AI SEAS 2026 将于 Dec 14, 2026 - Dec 16, 2026 以线上形式举办首届 Self-Evolving AI Safety 前沿研讨会，截稿日期为 Oct 26, 2026。
arXiv推荐指数5858 论文提出面向前沿AI的全生命周期脆弱性评估框架
arXiv 论文《The Watchtower Imperative》提出对2017-2026年已记录的AI伤害事件进行分析，指出从语音助手危及儿童、AI陪伴应用涉青少年自杀到老年人被自动拒绝护理等事件，共同根源是以隐含的成人用户模型评估系统。
arXiv推荐指数7171 arXiv 论文：AI 生成非自愿私密影像靠配置实现而非专用工具
论文分析了 CivitAI 平台上的 139 篇 R+ 指南，该平台以托管大量 AI 生成性内容（AIG-SC）著称。研究发现这些指南讨论了如何将性概念与身份概念组合成内容生成工作流，即 AI 生成非自愿私密影像（AIG-NCII）的构成要素，其中一篇指南明确给出了 AIG-NCII 工作流。
arXiv推荐指数6060 arXiv 论文审计 17 个模型家族的预训练信息披露延续性
该论文基于 2025 Foundation Model Transparency Index（FMTI）的 24 项预训练相关指标，对 17 个模型家族共 41 个模型条目进行文档审计，在 10 个家族的 24 组相邻版本比较中追踪披露的增减与保留情况。
arXiv推荐指数3535 基于 DIO/ODI 的 Agentic Entity Resolution 授权护栏：约束提交边界
arXiv 论文提出一种基于 Digital Identity Optimization（DIO）与 Ontology of Digital Identity（ODI）的授权护栏规范，为 Agentic Entity Resolution 系统在证据推理与持久化身份变更提交之间划定授权边界。
arXiv推荐指数6060 Decision Models 作为幻觉检测裁判的评测研究
论文构建了覆盖五种幻觉类型的二元基准（9,852 条样本，来自六个数据集），将五个决策模型与生成式裁判 gpt-6-sol 对比。结果显示表现强依赖类型：最佳决策模型在上下文不一致任务上平衡准确率追平 gpt-6-sol，事实错误上差距在 3 个百分点内，但在逻辑与指令不一致上落后 4-8 个百分点。
arXiv推荐指数4545 HqcLethe：面向无状态小型服务器的 HQC 流式封装
HqcLethe 提出一种无状态密钥交换方案，以流式方式将 HQC 封装按包大小切分发送，用中国剩余定理把多项式乘法拆成每包独立的余数并加掩码，其安全性在 Rocq 中用 SSProve 证明，并用 ProVerif 验证会话保密、服务器认证与前向保密。
arXiv推荐指数4141 Beyond LWE：Dihedral Coset Problem 被反事实攻破下的后量子假设综述
arXiv 综述 arXiv:2610.36731 以 2026 年一个已被推翻的 Dihedral Coset Problem (DCP) 高效量子算法主张为切入点，区分无噪循环 coset-state、指定失败指数与外推态三类求解器假设，将非结构化归约与三十余项格及非格假设逐一比对。
安全paper推荐指数5858 arXiv论文提出基于生命周期脆弱性矩阵的前沿AI安全评测框架
Casey M. Williams 与 Jennifer Victoria Scurrell 在 arXiv:2610.35725 发布论文，指出当前前沿AI安全评测默认成年用户模型，系统性遗漏儿童、青少年和老年人群体的风险。
安全paper推荐指数6161 arXiv论文分析1331起儿童相关AI事件：模型评测安全不等于实际安全
论文构建了以儿童为中心的AI伤害分类体系，整理并编码了1331起公开报道的儿童相关AI事件。研究发现伤害集中在表征、尊严和心理层面，且多与部署语境、治理和滥用失败相关，而非模型缺陷本身；对个体儿童的伤害还常波及未使用系统的其他儿童。
arXiv推荐指数3838 When Human Corrections Travel：联邦 VLA 适配中的安全问题
arXiv 论文《When Human Corrections Travel》探讨联邦学习与视觉-语言-动作（VLA）策略结合时的安全问题，指出跨任务、环境、人员和机器人本体共享人类纠正产生的适配更新，可能提升平均任务成功率却压制罕见安全干预或在其他机器人上产生不安全响应。
arXiv推荐指数3030 Shuffled Differential Privacy 下稀疏线性回归的误差下界与两轮交互算法
论文证明任何非交互式 (ε,δ)-SDP 协议在稀疏线性回归上都存在 Ω(√(dk)/(nε)) 的 ℓ₂ 估计误差下界，揭示固有的维度障碍。为此提出两轮交互式用户级算法，先用 heavy hitter 步骤恢复支撑集再估计参数，误差为 Õ(√(k/(nm)) + k/(n√m·ε))，对维度 d 无多项式依赖。
arXiv推荐指数5858 arXiv论文研究LLM模拟选民中的人口统计偏差与对齐策略
论文研究LLM在数字民主中模拟选民时的人口统计偏差，用三次美国总统选举数据对比闭源与开源模型对不同群体选票的还原准确度。结果显示从选民画像中移除性别可使模型最大群体误差降低22-42%，移除教育信息降低64%，而移除自述种族反而使平均群体误差上升超过40%，且均不降低整体准确率；重复查询或公平性指令等常见对齐策略无法减少这些误差，甚至可能使其翻倍。
arXiv推荐指数3838 车联网联邦学习的 clean-label 投毒攻防博弈：特征空间攻击与特征一致性重标注防御
arXiv 论文提出车联网联邦学习（FL）中 Basic Safety Message（BSM）异常检测的特征空间 clean-label 投毒攻击，并配套特征一致性重标注防御。攻击将良性样本向恶意特征极值扰动、保持标签不变以降低类别可分性；防御检测并重标注可疑样本。博弈论框架分析攻防均衡，结果显示攻击随被控节点数扩展，而防御在不降低干净准确率的前提下压低攻击成功率、将均衡推向规避攻击区域。
arXiv推荐指数5656 arXiv论文：LLM智能体网络中的合作行为追踪研究
论文以迭代囚徒困境（IPD）为框架，研究开源权重LLM从双人互动扩展到同质与异质网络时，个体合作是否转化为集体合作。研究发现合作行为对模型构成和细微语言变化高度敏感：能与相同模型合作的模型在混合群体中可能转向背叛；一个简单的不确定性提示可增减合作、重新分配成本，并影响数跳之外未接触该提示的智能体；甚至调换动作标签顺序也会显著改变行为，不确定性框架有时会放大这种敏感性。
arXiv推荐指数3838 组织隐私氛围在 GDPR 感知与隐私工程实践之间的中介作用
一项针对 156 名美国信息系统开发者的在线调查与结构方程建模研究发现，组织隐私氛围在开发者对 GDPR 重要性的感知与隐私态度之间起中介作用，进而影响其隐私工程实践。这一"法规—氛围—态度—实践"的中介链补充了法规对实践的直接效应，揭示了监管意图抵达工程行为的组织与态度路径，对下一代隐私与 AI 监管（如 EU AI Act）具有启示意义。
arXiv推荐指数5656 审计学习型访问控制的手写输入构件
论文对学习型访问控制背后的两个手写构件——硬拒绝集与区域映射——进行审计，在五个公开 ABAC Lab 策略上形式化硬拒绝健全性并对多达 794,250 元组的关系做穷举检查。
arXiv推荐指数4545 自主网络武器作为 AI 驱动的数字危害：平台问责框架
一项研究提出以 ARSIWA 国家责任学说为基础的平台问责架构，用 Meaningful Human Control（MHC）模型为自主网络武器（ACW）设定可闭式求解的 IHL 阈值。
arXiv推荐指数3838 自主网络武器的民主问责：立法通报框架与比较制度设计
一项研究提出在 Tripartite Attribution Framework 三个归因层级之上增加第四层非法律性民主问责层级（$A_{dem}$），要求在授权自主网络武器行动前 72 小时向立法机构通报。
arXiv推荐指数3838 The 3DS Oracle：通过网络实施的 BIN Attack
arXiv 预印本 arXiv:2610.32206 指出 EMV 3-D Secure (3DS) 在浏览器流程中暴露的客户端可见边界会泄露授权前分类信道，使 3DS 沦为发卡行控制与持卡人状态的画像筛查渠道。
arXiv推荐指数3131 CA-DPSGD：用近似二阶信息缓解 DPSGD 的梯度裁剪偏差
论文提出 CA-DPSGD 框架，利用近似二阶信息构建曲率感知的最优裁剪空间，并结合曲率矩阵修正估计器与各向异性噪声机制保证差分隐私（DP）保证，实验表明其优于现有最先进裁剪方法。该工作已被第 18 届机器学习优化国际研讨会（OPT 2026）接收。
arXiv推荐指数4949 VERA：面向 EU AI Act 合规评估的开源 LLM 部署责任 AI 仪表盘
VERA 是一个开源自托管仪表盘，将 COMPL-AI 对 EU AI Act 的技术解读（6 大原则组、18 项技术要求，其中 12 项可由现有 benchmark 测量）呈现给非工程背景的审批人员，已在一家大型欧洲银行部署。
arXiv推荐指数3838 可争议智能体（Contestable Agents）用于数据治理：记录人类对 AI 生成元数据的管理
arXiv 论文提出"可争议治理"（contestable governance）模式，由专业智能体为有争议的元数据决策生成带评分和引用的论证，数据管理员可在提交前接受、拒绝、修改或补充论证，治理记录保留证据、干预与结果。