GI-RTL-Fuzz：基于 LLM 与 BNF 语法引导的 RTL 模拟器差分模糊测试框架
GI-RTL-Fuzz 是一个利用大语言模型（LLM）生成高质量 RTL 测试用例的语法引导模糊测试框架，通过 Backus-Naur Form（BNF）语法覆盖信息引导 LLM 生成过程，探索复杂且少被测试的语言特性。该框架对不同 RTL 模拟器进行差分测试，在主流 Verilog 模拟器的 linting 过程和仿真结果中发现了大量此前未知的不一致问题。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
arXiv推荐指数4343 arXiv推荐指数5858 arXiv 论文揭示 LLM Agent 修复评估器与执行者不匹配导致部署价值损失
论文《Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents》研究 LLM Agent 修复方法中评估器选出的修复是否真正帮助实际执行的智能体。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数6868 WebMaze：以功能耦合诱饵将 LLM Web 扫描器引入诱饵世界
arXiv 论文提出 WebMaze 防御方法，在不改变真实应用功能的前提下，将基于 LLM 的恶意 Web 扫描器引向生成的诱饵世界。作者系统研究了六个 LLM 扫描器如何收集信息并基于观察迭代选择动作，在真实页面中嵌入功能耦合陷阱，并从应用现有视图构建视图定制的交互式诱饵世界。
arXiv推荐指数4848 Right Numbers, Wrong Questions：LLM 在欠明确金融查询上的评测研究
arXiv 论文提出"frame collapse"现象，指出 LLM 金融助手在面对用户未言明的语境（数据口径、产品变体、投资者情况与适用规则）时，会给出数据中真实存在但回答了另一个问题的答案。
arXiv推荐指数4444 隐私影响评估（PIA/DPIA）实践现状：隐私专业人士的视角、经验与现行流程
一项对来自 17 个国家的 26 名隐私专业人士的半结构化访谈研究，揭示了 GDPR 生效后 PIA/DPIA 实践的真实状况。研究发现 DPIA 方法论的遵循度普遍偏低，数据主体利益在评估过程中被忽视，且专业人士讨论了在 DPIA 基础上构建 FRIA（基本权利影响评估）的可能，同时对评估疲劳表达了担忧。
arXiv推荐指数4747 DRL 交通信号控制的最小信息黑盒虚假报告攻击
研究表明，对基于深度强化学习（DRL）的交通信号控制器，一个无法访问模型、仅能观测自身进口道的黑盒攻击者，通过训练模仿代理模型并构造有界虚假 V2I 报告，即可显著增加其他进口道的平均等待时间，而自身等待时间几乎不变，将额外延误外部化给其他方向。
arXiv推荐指数5252 AgentAnchor：面向 LLM Agent 轨迹归属的会话绑定行为水印论文
论文提出 AgentAnchor，一种会话密钥化的 Agent 行为水印方案，用于从轨迹日志中做归属判定。每步密钥由秘密密钥、新鲜公开会话标识与近期观察的语义状态派生，动作策略状态的受保护摘要用于多样化线性编码行；通过 KL 约束的指数倾斜嵌入奇偶校验证据，可信验证方无需重跑 Agent 即可校验争议日志，并采用错误密钥校准与弃权机制。
arXiv推荐指数3838 STAR：基于 TEE 的可扩展匿名速率限制器
STAR 利用服务端可信执行环境（TEE）实现可扩展的匿名速率限制，在抵御 TLS/HTTP 洪水攻击的同时保护用户隐私，无需假设服务方与权威机构不串通。针对恶意服务通过内存访问模式推断用户密钥的威胁，STAR 采用针对密钥相关内存访问的反制措施并以动态分析评估实现，另设计安全分片机制分发客户端请求。
arXiv推荐指数6262 arXiv论文提出溯源优先的审计方法，分析AI研究智能体论文中的数值误归属
论文重新分析了一个公开AI研究智能体基准的540份判定结果，并人工标注18篇投稿中的256条数值主张，发现失败主要集中在论文与底层工作之间的对齐问题，约五分之四的无支撑主张对应智能体自身文件中来自错误实验、指标或运行的数值。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数3434 汽车通信场景中的后量子密码（PQC）对比评估：ML-KEM/CRYSTALS-Kyber、ML-DSA/CRYSTALS-Dilithium 与 FALCON
一项研究在 OMNeT++、Veins、INET 与 SUMO 仿真环境下，对比评估了汽车通信场景中的后量子密码方案 ML-KEM/CRYSTALS-Kyber、ML-DSA/CRYSTALS-Dilithium 与 FALCON，覆盖乡村 V2V 与城市 V2X（含路侧单元）两类场景及两个硬件平台，并以 ECDSA/ECDH 作为基线参考。
arXiv推荐指数6262 arXiv 论文提出 Quine Test：检验模型自我描述能否在其他模型中复现其偏好
论文提出 Quine Test，检验模型写出的自我描述能否作为可移植的偏好规范在其他模型中复现其行为。实验让来自 9 家实验室的 10 个模型撰写自我描述，再放入其他模型及作者新实例的提示中，用 110 项偏好测试集测量保真度。
arXiv推荐指数4545 基于部分 C2PA 来源信息增强图像取证
一项被 IEEE WIFS 2026 接收的研究提出两步策略，利用图像上仅记录最后操作的部分 C2PA Content Credentials（CCs）作为可信知识，通过结构分析重建最后签名者施加的操作，并据此适配取证检测器以缓解分布偏移。
arXiv推荐指数6262 arXiv论文：在真实工业装置与仿真器上评测11个异常检测器的安全扰动检测能力
论文在仿真化工流程与钠热工水力实验装置上评测了11个异常检测器（覆盖经典、神经、依赖与因果四类），扰动依据威胁模型构造而非原生故障，并在声明的误报预算下读取检测结果。
arXiv推荐指数3838 通过联邦 API 实现差分隐私选择的复杂度（NeurIPS 2026）
NeurIPS 2026 论文 arXiv:2610.38789 证明，任何依赖标准噪声聚合原语的私密选择算法都需要 Ω(√d/ε) 个样本，这一误差下界在聚合模型中不可避免。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数4747 Component Translation and Judge-Labelled Refusal：多语言安全评估中的组件翻译与裁判标注拒绝率
一项多语言安全评估研究提出"组件翻译"配对反转方法，将请求的完整组件或操作组件独立翻译为同一目标语言，在 300 个采样有害行为中保留 190 个，生成英/中/西三语九种配置。
arXiv推荐指数3838 MLCCD：跨 MLLM 层解耦一致性与冲突的多模态假新闻检测
MLCCD 提出跨多模态大语言模型（MLLM）层解耦一致性与冲突证据的方法用于假新闻检测：先用最终决策表示筛选任务相关视觉与文本 token，保留相邻层间表示剧变的 token，再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
arXiv推荐指数3838 前沿大语言模型 Asch 从众实验的量化方法
arXiv 论文提出一种量化前沿大语言模型（LLM）Asch 从众效应的方法：对单个问题反复采样，利用 LLM 的概率性生成答案分布，再对比模型面对人为制造的共识前后的分布差异。实验确认前沿 LLM 确实存在从众行为，与既有文献一致，并通过分布对分布比较给出了从众发生条件与程度的量化数据。
arXiv推荐指数3838 通过隔离审查意见降低 Agent 过度防御性写作的 harness
一个将审查者、过滤器与写作者分离的 harness，在 25 份商业项目草稿扩写为正式报告的评测中，把防御性命题从 59 条降到 2 条（降幅 96.61%），未发现无依据的事实添加，原文主张保留率从 80.35% 升至 93.12%。写作者 Agent 只接收过滤器挑选的问题，处于独立上下文，以避免为对抗性 AI 审查者而写作。
arXiv推荐指数5656 arXiv 论文评测决策模型用于 RAG 知识冲突分型的效果
论文研究用 typed decision models 替代 LLM 对 RAG 检索源冲突做分型分类，基于 CONFLICTS 基准和原论文 prompt，对一家推理网关上 7 家提供商的 11 个决策模型与 Gemini 系列在相同输入上评测。
arXiv推荐指数4545 DocXEval：多模态文档理解可解释性系统评测框架
DocXEval 提出首个面向多模态（文本、版面、图像）文档理解的可解释性（XAI）评测框架，系统评测 13 种 XAI 方法、3 类任务、8 个数据集、4 个模型与 17 项评测指标，发现仅少数方法在全部指标上表现稳定，其中 Occlusion 整体最忠实、最可解释。元评测显示多项忠实度与复杂度指标存在中到强一致性，同时识别出部分不可靠指标。代码已公开发布以支持可复现性。
arXiv推荐指数6060 API-TAIL：通过温度对齐似然尾部检测LLM API中的模型替换
arXiv论文提出API-TAIL，一种检测商业大语言模型API部分模型替换的典型性审计方法。该方法先对齐单一有效温度以吸收批次级分布偏移，再标记超出阈值的尾部响应，从而在合法解码配置构成的复合零假设下检测低比例替换。在真实商业API上的评测显示，API-TAIL能控制误报并以较小查询预算检测低速率替换，优于基于rank和MMD的现有审计方法。
arXiv推荐指数4949 图像扩散模型 LoRA 适配的来源签名检测协议（arXiv 预印本）
一篇 arXiv 预印本提出一套协议，用于检测在线服务是否在使用标准图像扩散模型的 LoRA 适配版本，并在开放世界场景下（候选适配与替代模型未知）区分基础模型、LoRA 适配与其他模型家族。该方法基于假设检验，仅利用模型生成图像集合的内在维度构建黑盒签名，区别于以往在已知候选模型列表内做模型识别的工作。论文目前处于 Under review 状态，作者为 Tobias Cheung。
arXiv推荐指数5353 MiRL：用错误靶向强化学习纠正终端Agent的错误行为
论文提出 MiRL（Misbehavior-driven RL），先对策略的错误进行画像以找出可泛化的错误行为，再从这些错误发生的步骤开始 rollout 并仅在通过测试且避免错误行为时给予奖励，从而用强化学习纠正终端 Agent 的错误。
arXiv推荐指数6262 arXiv 论文：GRPO 中面向 reward hacking 的预算化强验证器审计策略
论文研究在 GRPO 训练中如何用有限的强验证器预算审计弱通过的 rollout，提出按通过数最少的组优先审计（LB）的策略。
arXiv推荐指数5858 论文提出面向前沿AI的全生命周期脆弱性评估框架
arXiv 论文《The Watchtower Imperative》提出对2017-2026年已记录的AI伤害事件进行分析，指出从语音助手危及儿童、AI陪伴应用涉青少年自杀到老年人被自动拒绝护理等事件，共同根源是以隐含的成人用户模型评估系统。
arXiv推荐指数2727 多目标强化学习中的路由集成与轨迹归因方法（NeurIPS 2026）
一篇即将在 NeurIPS 2026 发表的论文提出 objective-conflict coefficients（目标冲突系数）量化目标间冲突对多目标强化学习效率的影响，并设计 routed ensemble policy learning 与 kernel surrogate trajectory attribution 两种算法。
arXiv推荐指数2424 CLOSURE：面向多变量时间序列异常检测的跨通道闭合方法
arXiv 论文提出 CLOSURE，将可恢复性与跨通道一致性作为两个独立学习的正常数据预测任务，用于多变量时间序列异常检测。可恢复性由以离散正常时序基记忆为条件的扩散重建器求解，一致性由关系闭合算子求解——仅凭其他通道预测目标通道并用稀疏有符号门控筛选依赖，两路分数仅在正常数据上校准后融合。实验显示 CLOSURE 在公开基准流上持续优于近期基于重建、频域和拓扑的检测器。
arXiv推荐指数5656 REVA 论文提出用探针读取 LLM 内部表征实现约一秒一个函数的实时漏洞检测
论文提出 REVA（REal-time Vulnerability Analysis），将 Agent 式漏洞检测器背后的安全上下文与代码理解组件压缩进 LLM 的单次前向传播：对每个新函数，先提供其所在模块的预计算威胁模型、轻量静态分析结果和调用图信息，再用训练好的探针读取 LLM 对该函数的内部表征。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数5252 NPC-RubricBench：基于患者专属评分标准的纵向癌症诊疗大模型评测基准
论文提出NPC-RubricBench，一个以鼻咽癌为疾病场景的阶段感知基准，用于评测大语言模型在癌症诊疗全流程中的多阶段临床推理能力。该基准来自两家癌症中心405名患者的纵向病历，包含6个连续诊疗阶段共941个患者-阶段单元和17,688条患者专属原子评分标准，覆盖5个评测维度，每次评估严格限定在决策时点可得的临床证据。
arXiv推荐指数3838 基于分层强化学习的零信任自适应事件响应框架 ZT-AIR
arXiv 论文提出 ZT-AIR，一个以零信任架构为设计理论、分层强化学习为核心理论的自适应事件响应（IR）框架，将零信任控制编码为动作，分离战略优先级与战术执行，联合优化安全有效性与业务连续性。实验在多种对抗策略、网络规模与防御环境下验证，ZT-AIR 通过频繁且低干扰的干预实现安全与连续性的平衡，从业者评估进一步确认了其实际可行性。
arXiv推荐指数3838 Template-Free Dynamic Invariant Detection：用 LLM 替代模板的动态不变量检测工具 Oca
arXiv 论文提出用大语言模型（LLM）替代固定模板库来提出动态不变量，并实现工具 Oca，在真实开源 Java 项目上与基于模板的 Daikon 对比。
arXiv推荐指数6262 ADLER：面向流式 LLM API 的私有文档问答解码协议，用泄露账本约束答案披露
论文提出 ADLER，一种面向流式 LLM API 的解码协议，用于本地小模型与云端 LLM 协同回答私有文档问题时的隐私保护。研究发现，投机解码中私有草稿虽未在答案中出现，却会作为被拒绝的草稿发送给云端，从而泄露私有内容。