研究评测边缘视觉语言模型对抗样本鲁棒性：失败常表现为错误框而非漏检
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现，引入条件攻击成功率cASR指标，仅在模型仍能于灰色遮挡下定位人的图像上计分。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 235 条 · 更新于 15:39
ShortSpan推荐指数7474 arXiv推荐指数6060 arXiv 论文提出按标注预算评估切分多模态大模型的特征级属性推断风险
论文提出一种按标注样本预算衡量切分多模态大模型（MLLM）特征级隐私的属性推断框架，通过恢复曲线刻画诚实但好奇的服务器能从传输中间特征中恢复多少未防护状态下的敏感属性泄漏。
arXiv推荐指数4747 SynMark：LLM 代码生成中的语义-坐标多位水印
SynMark 用学习到的语义坐标替代基于表面 token 前缀的路由，在 LLM 代码生成中嵌入多位水印，以抵御标识符重命名与结构重构。
arXiv推荐指数7474 TRACE：针对 LLM 近似遗忘的无数据文本重构攻击（NeurIPS 2026）
TRACE 是一个在可访问遗忘前后模型快照、且无任何数据先验知识的条件下重构被遗忘训练数据的框架，被 NeurIPS 2026 接收。它从 embedding 层参数差值中筛选候选 token 以缩小搜索空间，再基于两个模型的困惑度差进行对比打分，并用先探索后补全的两阶段策略恢复多个样本。
arXiv推荐指数3939 WADE：基于 LSTM 的 WebAssembly 应用异常检测引擎
WADE（WebAssembly Anomaly Detection Engine）通过 LSTM 学习 WebAssembly 应用在良性条件下的函数级执行轨迹，运行时将偏离模式的行为标记为潜在攻击，无需按漏洞编写签名即可检出已知与未知攻击。
arXiv推荐指数6666 ImpasseBench：量化编码智能体证据与行动落差的评测集
论文提出评测集 ImpasseBench，研究编码智能体在环境阻塞时何时应停止并升级求助。该评测向可解修复任务注入 12 种环境阻塞，并标注轨迹中证据已充分的步骤，以区分合理努力、过度坚持与过早移交。
arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5656 SpectralCanary：用低频痕迹审计 T2I 模型的数据集使用
SpectralCanary 通过平滑低通掩码将固定金丝雀图像混入数据集每张图片，caption 不变，无需辅助生成或逐图优化，轻量验证器可检测可疑模型输出中的转移信号。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数5858 arXiv 论文：用工具调用智能体审计 FineWeb2 的斯洛伐克语语料
论文提出用一次性的 LLM 工具调用智能体作为语料调试器，通过只读、限预算的 API 探索语料并把发现编译为可执行测试，再由母语者验证。
arXiv推荐指数5757 OLMo-3 检查点证据质疑 RLVR 中的工具性收敛
论文使用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点及最终 RLVR 模型上的工具性收敛行为轨迹，发现该比率非单调：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，再降至最终检查点的 11.8%。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv推荐指数4949 VERA：面向 EU AI Act 合规评估的开源 LLM 部署责任 AI 仪表盘
VERA 是一个开源自托管仪表盘，将 COMPL-AI 对 EU AI Act 的技术解读（6 大原则组、18 项技术要求，其中 12 项可由现有 benchmark 测量）呈现给非工程背景的审批人员，已在一家大型欧洲银行部署。
arXiv推荐指数7171 arXiv 论文：实验揭示用户对自信错误 LLM 的顺从与信任校准崩塌
一项受控实验让 32 名参与者与基于 GPT-5-mini 的五个助手交互学习五个科学主题，每个助手的简报中有 0%、25%、50%、75% 或 100% 的事实被替换为貌似合理的虚假信息，且全部以完全自信的语气表述。
arXiv推荐指数5555 arXiv论文审计自适应序列模型中的隐藏未来token泄漏
论文研究自适应残差路由解码器中隐藏的未来token泄漏问题：序列级路由摘要使前缀位置在因果注意力掩码正确的情况下仍能访问未来token。一个24层异常检查点将验证损失从基线3.5958降至1.4259，但未通过前缀不变性审计且生成时参考模型困惑度显著升高；层间诊断将违规定位到动态路由查询路径上的全序列摘要广播。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7575 NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数5050 REGATTA：面向企业 AI Agent 的跨域测量框架与故障注入评测论文
论文提出 REGATTA（Regulatory Evaluation of Agents via Two-stage Testing and Assurance），一个面向企业 AI Agent 评测的测量框架，包含 125 项带来源引用的清单（覆盖美国与越南五个行业-司法辖区单元）、25 个故障语料，以及在设计与执行两阶段为测试套件打分的故障注入 harness。
arXiv推荐指数4747 SYNAPSE：将工具使用经验作为独立字段评分，保护 Agent 工具池中未使用工具的检索
arXiv 论文提出 SYNAPSE 方法，将工具使用经验作为独立字段评分，在 Agent 共享工具池中保护未使用工具的检索效果。在 StableToolBench 上，SYNAPSE 使未使用工具的 Hit@5 达到 0.785，高于为使用经验预留槽位的 router（0.683），且在三个工具目录、两种 embedder 下均保持领先。
arXiv推荐指数5555 VLTest：黑盒测试视觉语言模型图文联合失败的方法
论文提出 VLTest，一种针对视觉语言模型（VLM）的黑盒测试方法，通过编辑 VQGAN 潜在编码生成图像变体、用改写-扩展-裁剪流程生成文本变体，并在测试组合前先单独测试每个变异，使每个联合失败都有四个匹配单元格可供归因。
arXiv推荐指数3333 流量生成工具影响 MQTT 流级聚类：跨 4 个公开数据集的无监督表征研究
一项跨数据集研究用 Zeek-flowmeter、Argus、NTLFlowLyzer 三种开源流量生成工具，从 4 个公开 MQTT 数据集的抓包中生成超过 380K 条流，并用 K-means、DBSCAN、HDBSCAN（含与不含 PCA 降维）进行无监督聚类，以 Silhouette score 和 Adjusted Rand Index 评估。
arXiv推荐指数5858 ALIAS：评估 LLM 生成 TLA+ 规格时的性能与记忆效应
论文提出 ALIAS 方法，在 TLA+-Bench 的 111 个任务上检验一致标识符重命名（CIR）作为记忆检测手段的有效性，TLA+ 模型检查器作为行为判定的 oracle。
arXiv推荐指数5555 PAUSE：在编码智能体首次代码编辑前进行免搜索引导
论文提出 PAUSE 框架，在编码智能体执行首次源代码编辑前拦截并注入一次修复计划，无需学习型监控、检查点搜索或额外模型调用。
arXiv推荐指数5252 通过对照语言验证 LLM 自动形式化规格的论文
论文提出用对照语言（contrapuntal languages）验证 LLM 自动形式化生成的代码规格：构造一对任务专用形式语言，各自独立形式化用户意图，仅当求解器证明两种形式化等价时才接受该规格，以实现错误去相关。
arXiv推荐指数5858 arXiv 论文：生物医学声明验证 Agent 的 harness 设计消融与引用审计
该论文在 SciFact 生物医学声明验证任务上，以 PubMed API 为唯一工具做受控消融，固定骨干模型与输出格式，对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
arXiv推荐指数5151 arXiv 论文研究非母语语法错误对大语言模型社会偏见的影响
论文提出一个受控框架，将非母语写作者常见语法错误注入 prompt，并在覆盖性别、种族、宗教的刻板印象对齐与人口偏好三个偏见评测集上测试。结果显示语法错误会增大模型偏见，且随错误率上升而加剧；四类常见错误中，介词错误带来的刻板印象对齐增幅最大且最稳定，分析认为错误越可能干扰理解时偏见增幅越明显。
arXiv推荐指数2222 ExGrad：对抗训练中显式干净梯度相减，超越单纯抑制
ExGrad（外推梯度重组）通过构造干净输入、对抗输入与 AWP 梯度并测量其边界响应，在无约束的有界仿射域上求解三变量系数选择问题。在 CIFAR-10 上，负干净系数随仿射半径增大而迅速占主导；将干净系数置零并不足够，适度相减可提升 PGD-20，更强相减则以干净精度换取进一步增益。
arXiv推荐指数3434 Commit or Abstain？System One 决策模型、LLM 与缺失的法律依据
研究将 CaseHOLD 扩展出弃权条件（5,314 题中 1,670 题替换正确判决），对比四个 System One 决策模型与六个生成式 LLM：无正确选项时生成式 LLM 仍有 38-86% 强行选一项，最谨慎的决策模型为 30%。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数3636 用稀疏自编码器构建可审计的 AI 文本检测器
研究者提出一条流水线，将微调后的神经文本检测器转换为基于人类可读概念的分类器：直接在检测器残差流上训练稀疏自编码器（SAE），为每个 SAE 特征分配自动解释标签，仅保留描述通过全局保真度阈值的特征，再在其上训练轻量分类器。
arXiv推荐指数6060 论文：企业文档解析丢失格式线索，Agent 需求识别 F1 从 0.690 降至 0.150
Yikai Zhao 的论文指出，主流文档转换器都会丢失作者通过文本外观编码的语义线索，使 Agent 在识别政策文档中被作者特别标注的要求时，micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075，该差距在 5 个 Claude 模型和 GPT-5.6 上均可复现。
arXiv推荐指数2929 AI Security Literacy：基于生态系统的能力框架与 K-12 学习平台
研究者提出 AI Security Literacy（AISL）框架，含覆盖学校生态的六个维度，技术维度以公开 AI 安全 benchmark 和可复现多随机种子对抗评测为依据，态度维度基于美国教师与成人的全国代表性调查微观数据。
arXiv推荐指数2828 LEAN：通过损失工程调制模型权重敏感度分布，实现高效容错神经网络
LEAN 提出一种复合正则化方法，可在微调或训练末期用十个 epoch 系统性调制已训练模型的权重敏感度分布，在九个视觉模型（ResNet-18、ResNet-50、VGG-16 于 CIFAR-10、CIFAR-100、ImageNet）上将敏感尾部缩小 5 至 13 倍，精度损失在 0.5 个百分点以内。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。
arXiv推荐指数2222 NumAnchor：为汇编语言模型提供地址锚定的数值操作数表示
NumAnchor 是一种输入边界适配器，将汇编语言模型中可恢复的数值类操作数表示为带类型、规范化的程序实体，在不增加宿主序列长度的前提下保留实体身份与局部性。
arXiv推荐指数2020 新研究称 Regular Syndrome Decoding（RSD）比此前估计更容易求解
一项新研究提出改进的混合代数攻击，通过协调零坐标猜测与基于伴随式的变量消元，重新评估了 Regular Syndrome Decoding（RSD）的具体难度，发现许多广泛使用的参数集比此前估计更容易求解。