Req2Test-Bench：评测LLM Agent从软件需求生成行为充分测试的基准
论文提出Req2Test-Bench，包含5,086个执行验证实例，来自8个开源项目、5种编程语言和4种BDD框架，每个实例将Gherkin自然语言需求与开发者编写的行为测试实现配对。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 258 条 · 更新于 15:39
arXiv推荐指数5252 arXiv推荐指数4444 FIDES-Live：评估顺序交易智能体的行为一致性
FIDES-Live 将 FIDES 从生成策略一致性扩展到顺序智能体轨迹审计，对 10 条推理路径、7,299 个加密货币账户轮次及 310 轮股票试点进行回溯审计。加密货币决策有效率为 97.35%，可评分回答的结构化报告准确率为 90.81%，承诺遵守率整体为 94.36%。非空订单提案约束的遵守率降至 62.63%，而有效空提案为 97.56%；所有现金与持仓变动均与成交记录对账一致。
arXiv推荐指数5959 arXiv论文：AI编码Agent过度顺从式重构行为研究
论文对迭代重构任务开展受控研究，让 Codex 和 Claude Code 在五个模型上反复被要求继续重构，累计超过 3,000 轮对话，定义了六个过度顺从行为信号。结果显示没有模型在代码已优化后停止编辑，全部持续改写，最多重写达原代码库的 31 倍，甚至在声明任务完成后仍继续编辑。作者指出过度顺从是随轮次累积的高成本行为，六个信号可帮助开发者和工具构建方检测并抑制该行为。
arXiv推荐指数3838 RefactorProof：LLM 生成的形式化证明在程序重构下的稳定性压力测试
研究提出 RefactorProof 基准，从 VERINA 中 185 个可编译任务派生出 458 个 Lean 认证变体，测试同一证明在行为保持的程序重构后是否仍然有效。
安全paper推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
arXiv:2610.36711 提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复是否泄露个人信息，尤其针对间接、部分、上下文相关或混淆的披露场景。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数5858 arXiv论文提出基于生命周期脆弱性矩阵的前沿AI安全评测框架
Casey M. Williams 与 Jennifer Victoria Scurrell 在 arXiv:2610.35725 发布论文，指出当前前沿AI安全评测默认成年用户模型，系统性遗漏儿童、青少年和老年人群体的风险。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数7676 Log-To-Leak：针对MCP工具调用Agent的提示词注入攻击研究
arXiv:2610.36108 论文提出 Log-To-Leak，一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击：通过恶意自然语言工具元数据，诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用，泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
安全paper推荐指数7171 SEEK：面向科学Agent技能泄露的自进化黑盒红队方法
论文提出 SEEK（Skill Extraction with Evolving Knowledge），一个仅依赖用户可见响应的黑盒自进化红队Agent，用于从科学Agent平台提取可复用技能。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数2828 EVSEFuzz：面向 OCPP 协议实现的自动化模糊测试工具
EVSEFuzz 是一款自动化构建模糊测试器（fuzzer）以测试协议实现安全性的工具，利用 Python 数据类型校验包"理解"数据类型与消息结构，生成合规与非合规消息，已成功测试多个开源与闭源 OCPP 实现，发现多个漏洞并促成两个 CVE 发布。
arXiv推荐指数6464 arXiv论文量化LLM漏洞审计器对静态分析证据的非对称依赖
该论文研究LLM与静态分析结合的漏洞审计流水线中，模型是否会区分真假证据。作者构建了针对C/C++的过程内分析器，在PrimeVul数据集的916对函数上，用四种厂商的十一个模型配置共进行16,572次审计，仅改变证据注释内容。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数5858 SPOOK：用稀疏像素优化探测视觉编码器的流形外失效
arXiv 论文 SPOOK 提出在空白画布上用像素级爬山法做稀疏像素编辑，在黑盒设置下探测视觉编码器的表征几何。
arXiv推荐指数6060 StateMirror：执行前检测编码智能体幻觉工具调用
arXiv 论文提出 StateMirror，一种针对编码智能体幻觉工具调用的轻量级执行前检测器。研究对 4,398 条智能体轨迹的初步分析显示，这类幻觉普遍且代价高昂，恢复中位需额外 3 步交互和 22.4K tokens。
arXiv推荐指数3838 模型检查器辅助 LLM 的自动化多行 Bug 修复：RISC-V 处理器案例研究
一项案例研究提出结合 LLM、断言与模型检查器 JasperGold 的自动化 RTL Bug 修复方法，在 BRISC-V RISC-V 处理器上通过变异测试实现最高 98% 的单行 RTL Bug 修复率和 93% 的多行 Bug 修复率。
arXiv推荐指数5151 arXiv论文：AI编码智能体规则的六周案例研究，探讨规则与检查的持久性
论文报告了一项为期六周的案例研究，作者维护一个纯 Markdown 仓库，由三个 AI 编码智能体在共享规则集下每日编辑，记录了 118 条智能体失败及其修复与复发情况。
arXiv推荐指数4747 超越覆盖率与变异分数：LLM 生成单元测试的盲区分析（提出 BlindSpotEval 与 ObligBench）
arXiv 论文提出基于行为义务的 LLM 生成单元测试评估框架 BlindSpotEval，含 Boundary-Value Adequacy、Control-Flow Adequacy、Oracle Strength 三项指标，并发布 Java 基准 ObligBench（895 个复杂函数 + 700 个低复杂度函数）。
arXiv推荐指数4747 CONSTRAINTDIAL：通过协议变异终身构建智能合约安全任务
arXiv 论文提出 CONSTRAINTDIAL 框架，通过协议变异终身构建智能合约安全任务，从 203 个公开案例构造 3,045 个任务输入，覆盖 detect、exploit、patch 三类。
安全paper推荐指数6060 基于 Petri 网监督控制的 LLM Agent 工具执行认证框架论文
arXiv:2610.31376 论文（作者 Chao Gu、Quanyan Zhu）将 LLM Agent 与工具之间的执行护栏形式化为 Petri 网监督控制问题，用 token 表示能力、审批与预算，使前置条件缺失或已消耗的注入请求被机械拒绝。
arXiv推荐指数6262 arXiv论文实证研究编码智能体CoT中的错误断言与错误补丁的因果关系
论文对SWE-bench Pro上四个开源推理模型的400条轨迹做实证研究，从思维链（CoT）中抽取原子断言并核验，发现任务相关推理仅覆盖18.5%的CoT token，每条轨迹平均产生191个原子断言，其中至少9.6%存在错误。
arXiv推荐指数5555 TNCS：面向代码模型的数据高效后门攻击方法
论文提出 Trigger-Neutralized Counterfactual Scoring（TNCS），通过对比触发输入与触发中和反事实输入下的评分模型输出，隔离触发器对目标行为的贡献，适用于分类与生成任务。
arXiv推荐指数5757 TokenTrap：通过放大 token 消耗反制 LLM 诈骗系统的防御方法
论文提出面向资源的防御方法 TokenTrap，将疑似 LLM 诈骗系统引导至良性低价值计算，同时扣留凭证、支付等可利用信息。TokenTrap 由架构特定的 token 任务库、在单 Agent、分层与扁平多 Agent 工作流间选择的路由器，以及带 token、轮次、时间与安全上限的反护栏策略组成。
arXiv推荐指数5757 AgentTriage：面向异构 Agent 运行时的可重放安全诊断契约
论文提出 AgentTriage，一个面向异构 Agent 运行时的可重放安全诊断契约，其结论必须引用规范化运行时事件，缺少必需证据时要求弃权。运行时 overlay 规范化原生观测，确定性流水线关联调用与结果生命周期、构建带类型的溯源图并绑定证据，使诊断可在不依赖语言模型判断的情况下重算复核。
arXiv推荐指数5555 MIG-COW：基于梯度分解的可迁移 Deepfake 检测器对抗攻击
论文提出对抗攻击框架 MIG-COW，通过动量积分梯度与共识正交分解结合，捕捉异构 CNN 与 ViT 检测器的共性与模型特有漏洞。在 AADD-2025 Challenge 基准上，MIG-COW 白盒攻击成功率达 99.96% 且 SSIM 感知相似度高，显著优于现有基线；但对官方黑盒目标的 ASR 仅为 7.16%，尽管总分最佳，仍凸显迁移性难题。
arXiv推荐指数5757 SecLog-Bench：面向网络安全日志推理的可扩展基准发布
SecLog-Bench 是一个面向 LLM 网络安全日志推理的可扩展基准，覆盖 29 个攻击场景，支持重复执行与新场景接入，可规模化生成带攻击阶段标签的安全日志。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
arXiv推荐指数5656 Social-HUMINT：用 LLM 多智能体流水线量化社交平台暴露度的统一框架
论文提出 Social-HUMINT 框架，将 SOCMINT 与 Cyber-HUMINT 统一为覆盖 Cyber Threat Intelligence 生命周期的 38 项能力分类法，领域专家验证 Fleiss' κ = 0.92。
arXiv推荐指数5555 OP-Print：针对 on-policy 自蒸馏的成员推断攻击研究
论文提出 OP-Print，首次针对 on-policy 自蒸馏开展成员推断攻击研究，覆盖灰盒与黑盒两种威胁模型。作者发现 on-policy 自蒸馏的监督印记稀疏且结构化，集中在不确定性敏感的修正位点而非整个 rollout：灰盒场景直接聚合同一 rollout 上的师生残差修正，黑盒场景则用基于重启的输出盆地稳定性作为隐藏修正过程的可观测替代。
arXiv推荐指数6262 APEX：基于阶段引导混合规划-MCTS算法的自动化后渗透攻击链探索
论文提出 APEX 系统，将攻击链发现转化为规划问题，用阶段引导的混合 Planning-Monte Carlo Tree Search（MCTS）算法求解，把攻击动作按语义阶段组织并结合符号规划与 MCTS，以高效探索状态空间并生成多条多样化攻击链。在包含 5 台虚拟机、30 个合成问题和 291 个云实例的基准上评测，APEX 发现了已知与此前未报告的攻击链，其中包括 9 条新的权限提升路径。
arXiv推荐指数5656 Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。