联邦训练会削弱可解释性吗？集中式与联邦式 Deepfake 检测的 Grad-CAM 忠实度对比分析
一项系统研究在 FaceForensics++ 上以 EfficientNet-B4 检测器、5 个联邦客户端评估了联邦 Deepfake 检测中 Grad-CAM 解释的忠实度，发现联邦化与解释质量呈非单调关系：近 IID 和中度异构下联邦模型持平或优于集中式基线，极端异构下解释完全失效、空间不连贯且平均而言具有因果误导性。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 28 条 · 更新于 15:32
arXiv推荐指数4545 arXiv推荐指数4545 忆阻器脉冲神经网络的硬件感知模型反演研究：SDMI 方法与硬件非理想性对隐私泄漏的影响
arXiv 论文提出 Spiking Domain Model Inversion（SDMI），将 Expectation over Transformation（EOT）与代理梯度结合，用于对映射到忆阻器交叉阵列的脉冲神经网络（SNN）执行模型反演攻击。
arXiv推荐指数3838 MetaReJ：基于蜕变测试检测 LLM 自动程序修复中的错误解释
MetaReJ 提出首个基于蜕变测试（metamorphic testing）的检测方法，用于识别 LLM 自动程序修复（APR）系统生成的错误解释，无需外部验证器。
arXiv推荐指数5656 arXiv 论文提出幻觉严格定义：区分语义错觉、编造与表达不确定性
Hazel H. Kim 等作者在 arXiv:2610.38520 论文中主张对 LLM 幻觉采用严格定义：幻觉应是自信的错误，与表达不确定性（UNK）分开；并用重测实验区分两类幻觉——若语义等价提示都无法恢复正确答案则为编造（CF），若部分可恢复则为语义错觉（SI）。
arXiv推荐指数4848 Right Numbers, Wrong Questions：LLM 在欠明确金融查询上的评测研究
arXiv 论文提出"frame collapse"现象，指出 LLM 金融助手在面对用户未言明的语境（数据口径、产品变体、投资者情况与适用规则）时，会给出数据中真实存在但回答了另一个问题的答案。
arXiv推荐指数6262 ADLER：面向流式 LLM API 的私有文档问答解码协议，用泄露账本约束答案披露
论文提出 ADLER，一种面向流式 LLM API 的解码协议，用于本地小模型与云端 LLM 协同回答私有文档问题时的隐私保护。研究发现，投机解码中私有草稿虽未在答案中出现，却会作为被拒绝的草稿发送给云端，从而泄露私有内容。
arXiv推荐指数5656 CrossProfile 基准揭示 LLM 群体决策记忆压缩的失效模式
论文提出 CrossProfile 诊断基准，包含 60 个模板与自动校验答案键（共 480 个任务），用于评估 LLM 群体讨论压缩为记忆后对最终决策的影响。
arXiv推荐指数4444 临床类别不平衡下选择性预测的不确定性量化结构性漏洞与修正（arXiv:2610.37561）
一项 arXiv 研究指出，在临床类别严重不平衡下，标准不确定性量化度量衡量的是数据集稀疏性而非临床模糊性，会把少数类患者系统性排除，形成"安全错觉"。研究在 56 种合成条件与多发性硬化、帕金森病、阿尔茨海默病三个神经退行性队列上验证，CCR 结合阈值感知度量可恢复类内严格单调性、维持有界的均衡风险。作者建议临床选择性预测管线采用阈值对齐的不确定性度量与分层评估。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
arXiv推荐指数6464 arXiv论文量化LLM漏洞审计器对静态分析证据的非对称依赖
该论文研究LLM与静态分析结合的漏洞审计流水线中，模型是否会区分真假证据。作者构建了针对C/C++的过程内分析器，在PrimeVul数据集的916对函数上，用四种厂商的十一个模型配置共进行16,572次审计，仅改变证据注释内容。
arXiv推荐指数5858 arXiv论文研究LLM模拟选民中的人口统计偏差与对齐策略
论文研究LLM在数字民主中模拟选民时的人口统计偏差，用三次美国总统选举数据对比闭源与开源模型对不同群体选票的还原准确度。结果显示从选民画像中移除性别可使模型最大群体误差降低22-42%，移除教育信息降低64%，而移除自述种族反而使平均群体误差上升超过40%，且均不降低整体准确率；重复查询或公平性指令等常见对齐策略无法减少这些误差，甚至可能使其翻倍。
arXiv推荐指数4545 PPFLex：基于 MPC 的联邦学习隐私保护方法，抵御梯度引导矩阵标签推断攻击
研究发现，梯度引导的联邦学习优化方法共享的引导矩阵存在隐私漏洞，恶意服务器在 Dirichlet 标签分布下可从共享矩阵推断客户端标签集，准确率达 50% 至 84%。
arXiv推荐指数6060 arXiv 论文提出按标注预算评估切分多模态大模型的特征级属性推断风险
论文提出一种按标注样本预算衡量切分多模态大模型（MLLM）特征级隐私的属性推断框架，通过恢复曲线刻画诚实但好奇的服务器能从传输中间特征中恢复多少未防护状态下的敏感属性泄漏。
arXiv推荐指数7474 TRACE：针对 LLM 近似遗忘的无数据文本重构攻击（NeurIPS 2026）
TRACE 是一个在可访问遗忘前后模型快照、且无任何数据先验知识的条件下重构被遗忘训练数据的框架，被 NeurIPS 2026 接收。它从 embedding 层参数差值中筛选候选 token 以缩小搜索空间，再基于两个模型的困惑度差进行对比打分，并用先探索后补全的两阶段策略恢复多个样本。
arXiv推荐指数4545 CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
arXiv推荐指数7171 arXiv 论文：实验揭示用户对自信错误 LLM 的顺从与信任校准崩塌
一项受控实验让 32 名参与者与基于 GPT-5-mini 的五个助手交互学习五个科学主题，每个助手的简报中有 0%、25%、50%、75% 或 100% 的事实被替换为貌似合理的虚假信息，且全部以完全自信的语气表述。
arXiv推荐指数5555 arXiv 论文诊断语言模型跨文字实体匹配失败：Qwen2.5-7B 在马拉地语提示下天城文同人识别准确率降至 8.5%
论文用 601 组经审计、含天城文与拉丁文写法的身份对，在问题与关系固定条件下研究多语言模型对同一人名不同文字写法的判断差异。Qwen2.5-7B 在马拉地语提示下同人准确率从拉丁文的 35.1% 降至天城文的 8.5%，而异人准确率保持在 98% 以上；在 374 组马拉拉姆语身份对上复现该效应，同人准确率降至 5.3%，但 AUROC 仍达 0.925。
arXiv推荐指数4141 AssureCode：面向可信 Agentic 编码的结构化论证方法
AssureCode 提出一种工具支持的方法论，用结构化论证（structured argumentation）驱动 AI 辅助软件开发，将自然语言 prompt、形式化规约、开发者意图假设与程序分析证据以可验证的格式关联起来。
arXiv推荐指数3434 Commit or Abstain？System One 决策模型、LLM 与缺失的法律依据
研究将 CaseHOLD 扩展出弃权条件（5,314 题中 1,670 题替换正确判决），对比四个 System One 决策模型与六个生成式 LLM：无正确选项时生成式 LLM 仍有 38-86% 强行选一项，最谨慎的决策模型为 30%。
arXiv推荐指数6666 arXiv 论文提出 LLM Agent 长期记忆治理状态损坏的跨模型压力测试
论文研究 LLM Agent 长期记忆中的治理状态损坏问题，即存储内容与任务不变时，故障改变了哪些记忆记录进入模型可见上下文。研究覆盖 6 家厂商、731 个基准支撑的记忆库，产生 2,080 组配对故障；离线控制面检查中 96.25% 的配对改变了操作投影，oracle 支持的强制执行 100% 恢复。
arXiv推荐指数3232 大语言模型跨语言代码翻译中的幻觉：现象与缓解
一项系统性实证研究在三个基准数据集、六组语言对和七个 LLM 上考察跨语言代码翻译幻觉，构建了语义一致性冲突、事实知识冲突、项目上下文偏离三类分类法，并人工标注 13,919 个幻觉案例。研究进一步提出 HaluCodeTran 缓解框架，结合基于 BM25 的翻译示例检索与分类法感知的反思式精炼。
arXiv推荐指数2626 SyLares：面向免编译补丁存在性测试的神经符号推理引擎
SyLares 将免编译补丁存在性测试重构为神经符号推理，由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入，最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道，符号通道仅在 20% 代码案例中成功，其余回退到 LLM 裁决，易产生幻觉且两通道无法互相增强。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数5858 SPLASH：用对比审计压力检测并定位生成代码中的安全幻觉
作者提出 SPLASH 方法，通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure，用于在模型候选程序中挑选安全代码并定位漏洞语句，无需模型训练、CWE 专用规则或生成模型内部访问。
arXiv推荐指数4444 语言模型谄媚行为如何形成：从预训练到后训练的脆弱性追踪
研究追踪 30 个开源模型谱系共 741 个检查点，发现多数谱系在预训练阶段就已出现迎合用户意见的谄媚行为，且平均强度在不同阶段可升可降。
ShortSpan推荐指数6565 研究显示推荐系统语言嵌入可还原物品身份并致用户再识别
论文 Encoded but Exposed 研究推荐系统中暴露的物品级语言嵌入是否泄露真实身份，作者 Linda Beková 和 Rodrigo Alves 用余弦相似度匹配即可在 MovieLens 32M 和 GoodReads 两个数据集、六个 sentence-transformer 编码器上以较高 MRR 恢复物品身份，无需训练或模型反转。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。