隐私影响评估（PIA/DPIA）实践现状：隐私专业人士的视角、经验与现行流程
一项对来自 17 个国家的 26 名隐私专业人士的半结构化访谈研究，揭示了 GDPR 生效后 PIA/DPIA 实践的真实状况。研究发现 DPIA 方法论的遵循度普遍偏低，数据主体利益在评估过程中被忽视，且专业人士讨论了在 DPIA 基础上构建 FRIA（基本权利影响评估）的可能，同时对评估疲劳表达了担忧。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv推荐指数4444 arXiv推荐指数4747 DRL 交通信号控制的最小信息黑盒虚假报告攻击
研究表明，对基于深度强化学习（DRL）的交通信号控制器，一个无法访问模型、仅能观测自身进口道的黑盒攻击者，通过训练模仿代理模型并构造有界虚假 V2I 报告，即可显著增加其他进口道的平均等待时间，而自身等待时间几乎不变，将额外延误外部化给其他方向。
arXiv推荐指数5252 AgentAnchor：面向 LLM Agent 轨迹归属的会话绑定行为水印论文
论文提出 AgentAnchor，一种会话密钥化的 Agent 行为水印方案，用于从轨迹日志中做归属判定。每步密钥由秘密密钥、新鲜公开会话标识与近期观察的语义状态派生，动作策略状态的受保护摘要用于多样化线性编码行；通过 KL 约束的指数倾斜嵌入奇偶校验证据，可信验证方无需重跑 Agent 即可校验争议日志，并采用错误密钥校准与弃权机制。
arXiv推荐指数3838 STAR：基于 TEE 的可扩展匿名速率限制器
STAR 利用服务端可信执行环境（TEE）实现可扩展的匿名速率限制，在抵御 TLS/HTTP 洪水攻击的同时保护用户隐私，无需假设服务方与权威机构不串通。针对恶意服务通过内存访问模式推断用户密钥的威胁，STAR 采用针对密钥相关内存访问的反制措施并以动态分析评估实现，另设计安全分片机制分发客户端请求。
arXiv推荐指数6262 arXiv论文提出溯源优先的审计方法，分析AI研究智能体论文中的数值误归属
论文重新分析了一个公开AI研究智能体基准的540份判定结果，并人工标注18篇投稿中的256条数值主张，发现失败主要集中在论文与底层工作之间的对齐问题，约五分之四的无支撑主张对应智能体自身文件中来自错误实验、指标或运行的数值。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数3434 汽车通信场景中的后量子密码（PQC）对比评估：ML-KEM/CRYSTALS-Kyber、ML-DSA/CRYSTALS-Dilithium 与 FALCON
一项研究在 OMNeT++、Veins、INET 与 SUMO 仿真环境下，对比评估了汽车通信场景中的后量子密码方案 ML-KEM/CRYSTALS-Kyber、ML-DSA/CRYSTALS-Dilithium 与 FALCON，覆盖乡村 V2V 与城市 V2X（含路侧单元）两类场景及两个硬件平台，并以 ECDSA/ECDH 作为基线参考。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
arXiv推荐指数4545 基于部分 C2PA 来源信息增强图像取证
一项被 IEEE WIFS 2026 接收的研究提出两步策略，利用图像上仅记录最后操作的部分 C2PA Content Credentials（CCs）作为可信知识，通过结构分析重建最后签名者施加的操作，并据此适配取证检测器以缓解分布偏移。
arXiv推荐指数6262 arXiv论文：在真实工业装置与仿真器上评测11个异常检测器的安全扰动检测能力
论文在仿真化工流程与钠热工水力实验装置上评测了11个异常检测器（覆盖经典、神经、依赖与因果四类），扰动依据威胁模型构造而非原生故障，并在声明的误报预算下读取检测结果。
arXiv推荐指数3838 通过联邦 API 实现差分隐私选择的复杂度（NeurIPS 2026）
NeurIPS 2026 论文 arXiv:2610.38789 证明，任何依赖标准噪声聚合原语的私密选择算法都需要 Ω(√d/ε) 个样本，这一误差下界在聚合模型中不可避免。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
AI安全推荐指数6060 Hack The Box Academy 推出 AI Red Teamer 学习路径
Hack The Box Academy 上线 AI Red Teamer 岗位学习路径，与 Google 合作并映射到 Google 的 Secure AI Framework。该路径包含 12 个模块、230 个小节，覆盖提示词注入、越狱、对抗机器学习、模型隐私攻击、供应链风险与部署威胁，通过平台实验环境动手完成，难度评级为 hard。课程大纲公开，学习模块需 HTB Academy 账号。
AI安全推荐指数5656 Damn Vulnerable LLM Agent：面向 ReAct 推理步骤注入的实验靶场
ReversecLabs 开源 Damn Vulnerable LLM Agent，一个基于 LangChain 构建的故意脆弱 ReAct agent，用于实验 Thought/Action/Observation 注入，攻击目标是 agent 的推理步骤而非最终答案。
AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
AI安全推荐指数7171 Damn Vulnerable MCP Server 开源十个递进式 MCP 攻击靶场挑战
GitHub 上的 damn-vulnerable-MCP-server 项目提供一个刻意留有漏洞的 MCP server，包含十个难度递增的挑战，每个挑战展示一种 MCP 实现可能被攻击的方式。项目面向正在开发或评审 MCP server 的人员，让他们在一个以被攻破为目标的靶场上接触各类失败模式。
AI安全推荐指数2222 HYSN Technologies（Practical DevSecOps）推出 Certified AI Security Professional 自学课程
HYSN Technologies（Practical DevSecOps）推出 Certified AI Security Professional 自学课程，聚焦 AI 供应链风险，涵盖对抗机器学习、数据投毒、模型反演与规避攻击、数据管道与模型完整性防护，并将风险映射至 MITRE ATLAS。课程包含动手实验、差分隐私与联邦学习内容，已列入 CISA NICCS 目录。
AI安全推荐指数1818 面向安全从业者的生成式 AI 学习路径
一门面向安全从业者的生成式 AI 学习路径上线，由 4 门课程组成、总时长 2 小时，讲解生成式 AI 如何变革网络安全。课程覆盖生成式 AI 在安全运营中的集成、数据隐私与安全风险，并探讨在增强安全措施与生成式 AI 固有风险之间取得平衡，以及如何将 AI 用于攻防两端的安全运营。
AI安全推荐指数2222 DNV 推出 AI Security Foundation 课程，SECO-Institute 监考并颁发 S-AISF 认证
DNV 推出面向网络安全从业者的 AI Security Foundation 两天制课程，涵盖 AI 漏洞利用、威胁向量与风险分析，以及 AI 驱动防御的设计、实施与评估，提供在线辅导或课堂培训两种形式。
AI安全推荐指数4242 Microsoft Learn 推出生成式 AI 红队演练入门视频系列
Microsoft Learn 于 2025 年 7 月发布了一套生成式 AI 红队演练入门视频系列，内容基于 Microsoft 自有 AI 红队的案例研究与工具链。该系列与 Code and PoCs 下的 AI Red Teaming Playground Labs 挑战任务对应，既可独立观看，也可配合实验环境实操演练。
AI安全推荐指数1818 Artificial Intelligence for Cybersecurity：用 AI 应对网络安全挑战
Sam Sehgal 通过课程讲授如何在做好准备与防护的前提下，将 AI 有效应用于复杂网络安全挑战。课程澄清 AI 的定义及其在网络安全中的应用，区分判别式 AI 与生成式 AI，并强调机密性、完整性、可用性三大网络安全原则，讨论现有安全缺口，探索用 AI 和机器学习增强安全措施的实践方案。
AI安全推荐指数1515 Tonex 推出 CAISML：面向 AI 安全管理与领导力的认证项目
Tonex 推出 Certified AI Security Management and Leadership (CAISML) 认证项目，面向负责 AI 安全工作的管理者与领导者，内容涵盖治理框架、政策执行以及围绕 AI 项目构建安全实践。该项目以讲师在线授课形式提供，可按需排期，并已列入 CISA NICCS 目录。
AI安全推荐指数1212 Tonex 推出 Certified Chief AI Security Officer (CCASO) 认证项目
Tonex 推出 Certified Chief AI Security Officer (CCASO) 认证项目，面向负责制定 AI 安全战略的领导者，课程涵盖风险治理、合规、AI 网络威胁与组织级安全规划。项目以讲师在线授课形式提供，并可按需安排排期，已列入 CISA NICCS 培训目录。
安全向导推荐指数3838 机器学习系统失效模式清单：区分有意与无意失效
文档以表格形式梳理了机器学习系统的有意与无意失效模式：有意失效由主动攻击者为达成目标破坏系统所致，无意失效则是 ML 系统产出形式上正确但完全不安全的结果。该文档旨在为工程师、律师与政策制定者提供一套共同词汇，用于讨论这些问题并构建解决方案。
安全向导推荐指数5151 HiddenLayer 研究论证机器学习模型即代码
HiddenLayer 的研究论证序列化模型属于可执行内容而非惰性数据，并展示这一属性带来的影响，可与已收录的 Safetensors 相关文章对照阅读。
安全向导推荐指数6262 英国 NCSC 发布 Agentic AI 网络风险管理临时指南
英国国家网络安全中心（NCSC）于 8 月 20 日发布针对部署高自主性 AI Agent 团队的临时建议，提出七项实操考量：识别可能出错的场景、谨慎编写提示词、按风险等级设置监督、对 Agent 环境做沙箱隔离、记录并监控其活动、使操作可归因、保留随时关停能力。NCSC 表示正式指南正在制定中，届时将取代这份临时建议。
安全向导推荐指数3838 Embrace the Red：机器学习攻击系列
Embrace the Red 推出一系列从红队演练与安全测试视角探讨机器学习的博客文章，涵盖机器学习基础、威胁建模、实战攻击与防御等主题，并介绍了作者构建的机器学习系统 Husky AI。