针对自回归声音克隆 TTS 模型的可解释声学特征研究
论文提出一套面向自回归声音克隆 TTS 模型的特征可解释性框架，通过稀疏自编码器（SAE）、PCA 与随机方向的稀疏探测、引导（steering）和量化自动可解释性分析，研究这类模型编码并使用哪些声学属性。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 32 条 · 更新于 15:38
arXiv推荐指数5656 arXiv推荐指数4545 基于部分 C2PA 来源信息增强图像取证
一项被 IEEE WIFS 2026 接收的研究提出两步策略，利用图像上仅记录最后操作的部分 C2PA Content Credentials（CCs）作为可信知识，通过结构分析重建最后签名者施加的操作，并据此适配取证检测器以缓解分布偏移。
arXiv推荐指数3838 MLCCD：跨 MLLM 层解耦一致性与冲突的多模态假新闻检测
MLCCD 提出跨多模态大语言模型（MLLM）层解耦一致性与冲突证据的方法用于假新闻检测：先用最终决策表示筛选任务相关视觉与文本 token，保留相邻层间表示剧变的 token，再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
arXiv推荐指数4949 图像扩散模型 LoRA 适配的来源签名检测协议（arXiv 预印本）
一篇 arXiv 预印本提出一套协议，用于检测在线服务是否在使用标准图像扩散模型的 LoRA 适配版本，并在开放世界场景下（候选适配与替代模型未知）区分基础模型、LoRA 适配与其他模型家族。该方法基于假设检验，仅利用模型生成图像集合的内在维度构建黑盒签名，区别于以往在已知候选模型列表内做模型识别的工作。论文目前处于 Under review 状态，作者为 Tobias Cheung。
arXiv推荐指数6767 Jailbreak Connectivity 提出连续对抗路径优化以实现多模态大模型可迁移越狱
论文提出名为 Jailbreak Connectivity（JC）的多模态大语言模型视觉越狱框架，基于有效对抗样本可通过图像空间低损失区域相连的观察，优化连续对抗路径：路径采样生成多样化越狱图像，轻量代理分类器引导跨模型迁移，分布级目标实现跨有害查询的通用攻击。
arXiv推荐指数7171 arXiv 论文：AI 生成非自愿私密影像靠配置实现而非专用工具
论文分析了 CivitAI 平台上的 139 篇 R+ 指南，该平台以托管大量 AI 生成性内容（AIG-SC）著称。研究发现这些指南讨论了如何将性概念与身份概念组合成内容生成工作流，即 AI 生成非自愿私密影像（AIG-NCII）的构成要素，其中一篇指南明确给出了 AIG-NCII 工作流。
arXiv推荐指数4747 超越答案变化：面向音频证据的同类别匹配对照协议
一项针对音频-语言模型的对照研究提出同类别匹配替换协议，在600个合成声景、两个架构家族共三个模型上测试模型答案对局部声音事件类别变化的响应。结果显示，不同类别替换比同类别替换多产生49.7至60.9个百分点的答案变化，同类别替换后准确率与原始准确率差距保持在5.2个百分点以内。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
arXiv推荐指数5858 IEEE S&P 2027 论文：少步数文生图模型加速与安全存在固有张力，提出 DICE 擦除方法
论文研究少步数蒸馏文生图模型的安全性，发现加速与安全存在固有张力：少步数模型往往比教师模型更不安全，减少推理步数会持续推高不安全生成率，且加速使不安全概念更难被擦除。
arXiv推荐指数5858 SPOOK：用稀疏像素优化探测视觉编码器的流形外失效
arXiv 论文 SPOOK 提出在空白画布上用像素级爬山法做稀疏像素编辑，在黑盒设置下探测视觉编码器的表征几何。
arXiv推荐指数4141 KrishokTech：带显式授权控制的孟加拉语农业咨询系统
KrishokTech 是一套孟加拉语农业咨询系统，在生成前后设置显式授权边界：检索前对高风险请求做规则准入检查并要求指明作物，生成后由验证器剔除缺乏 BARI/BRRI 证据支撑的剂量表述。
arXiv推荐指数5555 MoST：基于搜索的视觉语言模型模态敏感性测试框架
论文提出 MoST，一个针对视觉语言模型（VLM）的黑盒测试框架，通过比较仅图像、仅文本和联合扰动来刻画模态敏感性，使用多目标搜索选择并组合扰动、调整其严重度，在限制图像与提示词改动幅度的同时寻求预测性能下降。
arXiv推荐指数5757 WildFakeToolBench：基于网络来源图像处理工具评测 AI 生成图像检测器
论文提出 WildFakeToolBench，一个由 220 个公开来源、142 个域名提炼出的 156 个可执行图像处理工具构成的评测集，每个工具保留来源证据并通过语法、执行与输出失真检查，且不使用被测检测器的反馈。
ShortSpan推荐指数7474 研究评测边缘视觉语言模型对抗样本鲁棒性：失败常表现为错误框而非漏检
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现，引入条件攻击成功率cASR指标，仅在模型仍能于灰色遮挡下定位人的图像上计分。
arXiv推荐指数5656 Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
arXiv推荐指数6060 arXiv 论文提出按标注预算评估切分多模态大模型的特征级属性推断风险
论文提出一种按标注样本预算衡量切分多模态大模型（MLLM）特征级隐私的属性推断框架，通过恢复曲线刻画诚实但好奇的服务器能从传输中间特征中恢复多少未防护状态下的敏感属性泄漏。
arXiv推荐指数4545 Concept Acupuncturist：基于 Sparse Autoencoders 的扩散模型概念擦除方法
Concept Acupuncturist（ConceptACP）提出一种结合可解释性分析与免推理微调的机器遗忘框架，用于扩散模型的高效精准概念擦除。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5555 VLTest：黑盒测试视觉语言模型图文联合失败的方法
论文提出 VLTest，一种针对视觉语言模型（VLM）的黑盒测试方法，通过编辑 VQGAN 潜在编码生成图像变体、用改写-扩展-裁剪流程生成文本变体，并在测试组合前先单独测试每个变异，使每个联合失败都有四个匹配单元格可供归因。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
arXiv推荐指数2424 基于分层 DNA 密钥管理的安全多模态联邦优化框架
该论文提出一种安全多模态联邦优化框架，将本地数据保护与联邦更新保护分离：可信密钥管理方通过 HPKE 下发单一客户端密钥，客户端再用基于 HMAC 的 HKDF 本地派生各模态专属对称密钥。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数3232 扩散模型采样阶段的隐私核算：可裁剪经验去噪器与混合采样器
研究提出一种免训练的可裁剪经验去噪器，作为贝叶斯最优去噪器的估计器，其单步敏感度可显式计算，使每个去噪步骤构成高斯机制，从而在 Gaussian DP 与 f-DP 框架下完成采样阶段的隐私核算。
arXiv推荐指数1818 Industrial ReMEmbR：将时空记忆扩展至机器人集群
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统，仅在按需时才生成场景描述，从而降低服务端计算开销。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。
arXiv推荐指数3434 BrushOff：基于笔触重渲染的绘画水印去除攻击
研究者提出 BrushOff，一种无需训练、无需知晓水印、也不依赖生成模型的笔触重渲染攻击，可将 VINE 水印在 500 幅五种风格绘画上的检测率从至少 97.8% 降至 1.8%，输出无参考质量分数接近干净画作。
安全paper推荐指数7171 论文提出说话人激活后门 SAB：以目标人声为触发器，Whisper 与 Parakeet 后门成功率最高 97.0%
论文提出 Speaker-Activated Backdoor（SAB）设定，攻击者在微调阶段植入后门，以目标说话人的自然语音作为触发器，无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频，就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率，误报率为 1.7% 和 0%。
ShortSpan推荐指数7171 研究显示零样本零成本本地模型可破解 Google reCAPTCHA
一项新研究显示，无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战，在 500 次真实会话中达到 92.6% 的会话成功率。