Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
arXiv推荐指数5656 arXiv推荐指数3131 CA-DPSGD：用近似二阶信息缓解 DPSGD 的梯度裁剪偏差
论文提出 CA-DPSGD 框架，利用近似二阶信息构建曲率感知的最优裁剪空间，并结合曲率矩阵修正估计器与各向异性噪声机制保证差分隐私（DP）保证，实验表明其优于现有最先进裁剪方法。该工作已被第 18 届机器学习优化国际研讨会（OPT 2026）接收。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数6565 AgentTrace：基于执行轨迹的黑盒 LLM Agent 指纹识别框架
论文提出 AgentTrace，通过可观测的执行轨迹识别黑盒 LLM Agent 背后的基础模型。该框架注入结构上存在歧义的探针，在严格的工具接口处触发对分词敏感的序列化失败，再用轻量级 Markov 链对后续多步修复轨迹建模，在对抗性身份伪装下达到 96.0% 归因准确率，并能区分共享相同分词器的同家族变体（如 Llama-3 8B/70B），且对 prompt 混淆和温度缩放保持稳健。
arXiv推荐指数6060 arXiv 论文提出按标注预算评估切分多模态大模型的特征级属性推断风险
论文提出一种按标注样本预算衡量切分多模态大模型（MLLM）特征级隐私的属性推断框架，通过恢复曲线刻画诚实但好奇的服务器能从传输中间特征中恢复多少未防护状态下的敏感属性泄漏。
arXiv推荐指数5555 arXiv 论文复盘 CrowdStrike Channel File 291 全球终端宕机的工程成因
论文基于 CrowdStrike 技术报告、Microsoft 崩溃分析与恢复指南、国会记录和运营影响报告，复盘 2024 年 7 月 19 日 CrowdStrike Falcon 内容更新导致约 850 万台 Windows 设备崩溃的事件。
arXiv推荐指数3838 SPA：FHE 下门控激活的保结构近似方法
SPA（Structure-Preserving Approximation）利用 GELU、SiLU、Swish 等激活函数共享的 A(x)=xg(x) 且 g(-x)=1-g(x) 代数结构，保留精确奇分量 x/2、仅对偶残差做 x² 多项式近似，得到无比较算术核。
arXiv推荐指数4545 Concept Acupuncturist：基于 Sparse Autoencoders 的扩散模型概念擦除方法
Concept Acupuncturist（ConceptACP）提出一种结合可解释性分析与免推理微调的机器遗忘框架，用于扩散模型的高效精准概念擦除。
arXiv推荐指数4646 LLM 生成的形式化规范是否忠实于需求？一项双模态规范生成实证研究
一项针对 LLM 生成形式化规范的实证研究构建了 1,403 个 C 程序的 benchmark，用 Frama-C 验证评估 ACSL 规范生成，发现当代码实现有误时，LLM 可能生成过弱或被实现误导的规范而错误通过验证，且高级提示词方法无法完全缓解。
arXiv推荐指数4747 SynMark：LLM 代码生成中的语义-坐标多位水印
SynMark 用学习到的语义坐标替代基于表面 token 前缀的路由，在 LLM 代码生成中嵌入多位水印，以抵御标识符重命名与结构重构。
arXiv推荐指数7474 TRACE：针对 LLM 近似遗忘的无数据文本重构攻击（NeurIPS 2026）
TRACE 是一个在可访问遗忘前后模型快照、且无任何数据先验知识的条件下重构被遗忘训练数据的框架，被 NeurIPS 2026 接收。它从 embedding 层参数差值中筛选候选 token 以缩小搜索空间，再基于两个模型的困惑度差进行对比打分，并用先探索后补全的两阶段策略恢复多个样本。
arXiv推荐指数3939 WADE：基于 LSTM 的 WebAssembly 应用异常检测引擎
WADE（WebAssembly Anomaly Detection Engine）通过 LSTM 学习 WebAssembly 应用在良性条件下的函数级执行轨迹，运行时将偏离模式的行为标记为潜在攻击，无需按漏洞编写签名即可检出已知与未知攻击。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5252 arXiv 论文研究 AI Agent 工作流中的授权与恢复机制
论文研究工具调用 AI Agent 的执行期可靠性，将检查点状态、派发授权、外部效果证据与结算授权区分为四类独立义务，并通过隐藏的供应商效果账本对历史记录做一致性核对。
arXiv推荐指数6666 ImpasseBench：量化编码智能体证据与行动落差的评测集
论文提出评测集 ImpasseBench，研究编码智能体在环境阻塞时何时应停止并升级求助。该评测向可解修复任务注入 12 种环境阻塞，并标注轨迹中证据已充分的步骤，以区分合理努力、过度坚持与过早移交。
arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5252 Selective Auditing：通过选择性审计提升AI辅助决策可靠性
arXiv 论文提出在线监控AI系统决策的选择性审计方法，将任务形式化为在线约束优化问题，在保证未审计AI错误比例低于用户设定阈值的前提下最小化专家审计频率。作者推导出一族具有可证明误差控制保证且无需假设的算法，其中一种方法在对抗与i.i.d.数据流上均渐近达到最优审计率。在大语言模型有害请求筛查、文本标注与数据标注实验中，该方法实现了有效的误差控制，并相比基线显著减少了人工审计需求。
arXiv推荐指数5656 SpectralCanary：用低频痕迹审计 T2I 模型的数据集使用
SpectralCanary 通过平滑低通掩码将固定金丝雀图像混入数据集每张图片，caption 不变，无需辅助生成或逐图优化，轻量验证器可检测可疑模型输出中的转移信号。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数4545 CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
arXiv推荐指数5858 arXiv 论文：用工具调用智能体审计 FineWeb2 的斯洛伐克语语料
论文提出用一次性的 LLM 工具调用智能体作为语料调试器，通过只读、限预算的 API 探索语料并把发现编译为可执行测试，再由母语者验证。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
arXiv推荐指数2727 CRANE：面向多模态分类器的后验反事实检索框架
CRANE（Counterfactual Retrieval via Agnostic Nearest-neighbour Explanations）是首个面向多模态分类器的后验、模型无关反事实解释框架，通过从目标类检索真实训练样本作为候选解释，保证解释的合理性。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv推荐指数4949 VERA：面向 EU AI Act 合规评估的开源 LLM 部署责任 AI 仪表盘
VERA 是一个开源自托管仪表盘，将 COMPL-AI 对 EU AI Act 的技术解读（6 大原则组、18 项技术要求，其中 12 项可由现有 benchmark 测量）呈现给非工程背景的审批人员，已在一家大型欧洲银行部署。
arXiv推荐指数7171 arXiv 论文：实验揭示用户对自信错误 LLM 的顺从与信任校准崩塌
一项受控实验让 32 名参与者与基于 GPT-5-mini 的五个助手交互学习五个科学主题，每个助手的简报中有 0%、25%、50%、75% 或 100% 的事实被替换为貌似合理的虚假信息，且全部以完全自信的语气表述。
arXiv推荐指数5656 扩散语言模型用于困惑度感知的黑盒攻击研究
论文提出将连续潜空间攻击框架直接耦合到连续扩散语言模型（dLLM）上，去除原先依赖随机映射的解码方式，保留标准高斯潜变量形式与下游采样或优化流程。
arXiv推荐指数3838 可争议智能体（Contestable Agents）用于数据治理：记录人类对 AI 生成元数据的管理
arXiv 论文提出"可争议治理"（contestable governance）模式，由专业智能体为有争议的元数据决策生成带评分和引用的论证，数据管理员可在提交前接受、拒绝、修改或补充论证，治理记录保留证据、干预与结果。
arXiv推荐指数4343 无需重训练的隐私审计：Shift-aware score transport 方法（arXiv:2610.31549）
arXiv 论文提出 Shift-aware score transport 方法，在审计者无法插入 canary、控制数据或重训练目标模型的观测式隐私审计场景下，利用分布外（OOD）非成员数据估计反事实的分布内非成员分数分布，缓解分布偏移导致的成员推断分数偏差。
arXiv推荐指数5555 arXiv论文审计自适应序列模型中的隐藏未来token泄漏
论文研究自适应残差路由解码器中隐藏的未来token泄漏问题：序列级路由摘要使前缀位置在因果注意力掩码正确的情况下仍能访问未来token。一个24层异常检查点将验证损失从基线3.5958降至1.4259，但未通过前缀不变性审计且生成时参考模型困惑度显著升高；层间诊断将违规定位到动态路由查询路径上的全序列摘要广播。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7575 NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。
arXiv推荐指数3838 ConQEC：面向量子纠错码实现的符号执行测试框架
ConQEC 是首个面向量子纠错码（QECC）实现的 concolic 测试框架，通过结合具体 Pauli 故障重放与符号修复路径约束，生成能暴露最终逻辑故障及 FSDR（故障-综合征-解码器-恢复）诊断的测试用例。
arXiv推荐指数4747 PhysTrace：视频生成模型物理一致性的可解释时序评测框架
PhysTrace 提出一个免训练框架，用 MLLM 生成的历史条件期望与观测视频窗口对齐，时序定位物理违规并给出可解释描述，在 IntPhys2-Timing 上 Hit Rate 最高达 70.7%，且在 IntPhys2 的 possible-impossible 判别准确率上超过对比方法。
arXiv推荐指数5555 arXiv 论文诊断语言模型跨文字实体匹配失败：Qwen2.5-7B 在马拉地语提示下天城文同人识别准确率降至 8.5%
论文用 601 组经审计、含天城文与拉丁文写法的身份对，在问题与关系固定条件下研究多语言模型对同一人名不同文字写法的判断差异。Qwen2.5-7B 在马拉地语提示下同人准确率从拉丁文的 35.1% 降至天城文的 8.5%，而异人准确率保持在 98% 以上；在 374 组马拉拉姆语身份对上复现该效应，同人准确率降至 5.3%，但 AUROC 仍达 0.925。
arXiv推荐指数5656 Typed Template Fuzzing：用 LLM 预处理生成类型化模板的模糊测试方法
论文提出轻量级 LLM 模糊测试方法 Typed Template Fuzzing（TTF），在预处理阶段用 LLM 将种子转化为类型化模板，随后无需语言专用解析器、类型检查器或额外 LLM 查询即可进行语义感知的变异模糊测试，并可利用种子与模板的对应关系修复 LLM 错误。