边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 235 条 · 更新于 15:39
arXiv推荐指数4747 arXiv推荐指数6060 DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
arXiv推荐指数4242 Sign Here：通过溯源归属构建更可信的软件供应链
研究提出从源码直接构建、绕过包注册表来阻断恶意包，基于 47,066 个恶意包与 npm/PyPI 共 33,138 个样本的评估显示，仅检查源码归属即可拦截 87.7%–99.9% 的恶意包。但良性包透明度不足，仅 47.4% 标注了可供终端用户构建的源码来源。
arXiv推荐指数5858 harness 对 LLM 漏洞发现影响多大？24 组模型配置的多模型研究
该论文用开源 harness 在生产代码库上测试 24 组模型与运行器配置，在 265 个已确认安全根因中，覆盖最广的两组配置合计发现 60.4%，14.3% 的根因仅被单一模型发现，没有任何配置覆盖全部发现。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数4141 RegretBench 与 BackUpper：编码 Agent 备份意识评测与自动备份方案
研究团队提出 RegretBench，用 205 个可执行任务评测编码 Agent 的备份意识：六个前沿模型平均完成任务率 86.1%，但在需要备份的关键时刻仅 15.2% 会提前保存状态。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数3131 CloudIR-Bench：面向云故障根因分析与缓解预测的公开基准
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准，数据集取自五套主流云系统的真实事故报告，并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验，并定性分析 LLM 在何处、为何失败，揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开，论文收录于 APSEC 2026。
arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
arXiv推荐指数3131 RegoMender：面向 Rego 策略自动修复的多智能体框架
RegoMender 是反馈引导的多智能体框架，通过共享黑板与原子工具包动态执行打补丁、重写或回滚，用于修复 Rego 策略。团队同时发布首个自动化 Rego 策略基准 RegoBench，含 1,159 个真实缺陷；RegoMender 在 RegoBench 上语法与基于测试的语义成功率分别为 82.9% 和 77.9%，超出最强基线 13.4%。
arXiv推荐指数5757 ARATest：将研究声明转为可执行属性测试的论文
论文提出 ARATest，一个基于属性的测试库，把 AI agent 产出的研究声明中的隐含属性抽象为可执行的属性骨架进行检验。每个属性给出 holds、violated 或 inconclusive 三种判定，违规附带可复现的 witness；默认生成器读取 ARA 工件链接的证据，auto-research 生成器则派发 agent 运行已发布代码获取新用例。
arXiv推荐指数6262 审计 Agent 评测中的行为检测器：轨迹证据与标签的分歧研究
论文在基于 GSM8K 的工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每个模型 30 道题，发现最终正确性、可见复验与故障传播的自动标签存在系统性分歧。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
安全paper推荐指数7272 Ulysses：面向 Web 漏洞可利用性验证的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，将候选 Web 应用漏洞发现转化为可验证的漏洞利用证明（Proof of Exploitability），通过迭代探索利用假设并以独立可观测的执行效果确认成功。
ShortSpan推荐指数7676 MMA-SafetyBench 评测揭示多模态智能体易被伪造界面元素劫持
研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench，包含 1,083 条对抗轨迹，覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域，对九个视觉语言模型评测。
安全paper推荐指数5555 nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
安全paper推荐指数6262 BenchDoor：利用基准激励实施后门投毒攻击
论文提出 BenchDoor 数据投毒与后门攻击框架，利用机器学习基准驱动数据集采用这一激励机制，让投毒数据在提升基准分数的同时植入触发器。
arXiv推荐指数3737 AgenticVulHunter：把本地 Agent 化漏洞挖掘带到终端
AgenticVulHunter 提出一种可在本地部署开源权重 LLM 上运行的 Agent 化安全代码审查方法，并配套终端工具。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数1818 SCALF：用步骤级信用分配与失败轨迹自蒸馏增强缺陷暴露测试生成
SCALF 是一种过程监督强化学习方法，结合步骤级信用分配与对有价值失败轨迹的定向学习，用于为大语言模型生成的代码自动生成能暴露缺陷的测试。它从过程奖励中推导每步优势，并将触发缺陷但输出预测错误的轨迹转入同策略自蒸馏。在三个基准上，其联合成功率、输出正确率和缺陷触发率分别比强提示与后训练基线最高提升 2.97、5.26 和 3.53 个百分点。
arXiv推荐指数3939 从 Token 到文件：AI 参与代码的多粒度检测与定位
研究者提出一种在 token 级建模 AI 作者身份、并在行、块、文件三级预测的框架，用冻结代码语言模型加两个低秩适配器，以逐 token 对数似然比作为局部证据。
arXiv推荐指数3232 大语言模型跨语言代码翻译中的幻觉：现象与缓解
一项系统性实证研究在三个基准数据集、六组语言对和七个 LLM 上考察跨语言代码翻译幻觉，构建了语义一致性冲突、事实知识冲突、项目上下文偏离三类分类法，并人工标注 13,919 个幻觉案例。研究进一步提出 HaluCodeTran 缓解框架，结合基于 BM25 的翻译示例检索与分类法感知的反思式精炼。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数6363 BenchDoor：利用基准榜单激励实施数据投毒后门攻击
研究者提出 BenchDoor 系列数据投毒攻击，利用基准榜单对模型开发的导向作用，在保持良性性能的同时要求带来榜单提升，从而诱导采用被植入后门的数据。攻击者可篡改基准的训练或测试数据构造对抗性基准，也可在基准不变的情况下提供独立训练数据集，论文形式化出五种攻击场景。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数2424 CyberHull：基于凸包的确定性恶意 URL 隔离框架
CyberHull 通过结构内容熵、超链接图拓扑和语义 token 分布等多个正交特征域上的凸包边界来识别恶意 URL，检测准确率达 92%，显著高于基于 PCA 的线性基线方法的 32%。
arXiv推荐指数3131 在受限设备与微控制器上测试 TLS 1.3 PQC
研究用 wolfSSL 在 Raspberry Pi Pico W、Pico 2 W、ESP32 和 Raspberry Pi Zero 上对 36 种 TLS 1.3 算法组合进行握手延迟与能耗基准测试。
arXiv推荐指数2222 RAISE：预测持续模糊测试中额外模糊测试的必要性
研究提出 RAISE（Risk-Aware Intensive Supplemental Execution Framework），一个按项目-天粒度做二分类、判断某天是否引入漏洞的 JIT 框架，用于优先为高风险项目-天分配额外模糊测试资源。
arXiv推荐指数5858 论文提出用 40 个单词答案识别 API 背后的语言模型
Tapan Parikh 的论文提出一种模型指纹方法：用“说出一个声音”“说出一个诗人”这类日常问题的单词答案，在 94 个模型的对照面板上，40 个答案有 92.5% 的概率识别出确切模型，随机猜测仅 1.1%。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数4949 每个模型都留下痕迹：多分辨率 LLM 指纹识别研究
研究提出"指纹分辨率"框架，从模型分辨率（跨家族、蒸馏变体、LoRA 适配）与信号分辨率（行为、文体、词汇、语义）两个维度考察 LLM 生成文本的可归属程度。结果显示指纹可超越家族差异，在蒸馏模型乃至同一基座的 LoRA 适配版本中仍可检测；表面与词汇线索被改写后归属能力减弱，但仍有大量模型特异信号残留，且可跨提示分布与语言迁移，其中语义表征跨语言最稳健。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。