AfterDeleteBench 审计 LLM Agent 删除记忆后的信息残留
AfterDeleteBench 是一项针对固定权重 LLM Agent 外部持久记忆的受控行为审计：对每个合成密钥，比较一个先暴露后删除源记录的 Agent 与一个从未见过该密钥的配对 Agent。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 235 条 · 更新于 15:39
ShortSpan推荐指数7575 arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
arXiv推荐指数5555 arXiv 论文提出任务条件可见度裕度，量化多源异常检测器的隐蔽源操纵风险
论文提出威胁量化指标任务条件可见度裕度（task-conditioned visibility margin），定义为操纵每单位下游任务危害必须暴露的最少检测器证据，该裕度有闭式解，每张证书约 85 μs，可给出最小证据攻击并识别检测器看不见的任务相关方向。
arXiv推荐指数5757 NDSS 2027 论文分析 Discord 第三方机器人安全隐私问题并提出 BotLens 审计框架
论文分析了 23,102 个 Discord 第三方机器人和 183,142 条用户评论，通过 LLM 知识蒸馏微调 DeBERTa 分类器并人工校验，保留 8,832 条安全隐私相关评论（管线产出率 4.82%），映射为 31 主题分类体系。
arXiv推荐指数4242 Maven 生态上游安全事件与下游漏洞缓解的细粒度实证研究
一项针对 Maven 生态 832 个 CVE 的实证研究发现，上游修复与下游采纳两侧均存在延迟：约 82% 的 CVE 在 NVD 披露前已发布修复版本，其余 17.9% 的下游项目在披露后数天至四个月内无可用修复。
arXiv推荐指数5252 Req2Test-Bench：评测LLM Agent从软件需求生成行为充分测试的基准
论文提出Req2Test-Bench，包含5,086个执行验证实例，来自8个开源项目、5种编程语言和4种BDD框架，每个实例将Gherkin自然语言需求与开发者编写的行为测试实现配对。
arXiv推荐指数4444 CASEL：面向后果感知的工具调用 Agent 运行时选择性执行层
CASEL（Consequence-Aware Selective Execution Layer）提出一种模型无关的运行时分配策略，为工具调用 Agent 的每次工具调用在直接执行、验证、沙箱、澄清、审批和弃权之间选择，综合校准失败概率、状态相关后果、可逆性、歧义与证据新鲜度。
arXiv推荐指数4444 ProCerDCL：面向深度学习编译器优化的查询高效黑盒概率验证框架
ProCerDCL 提出一种查询高效的黑盒概率验证框架，通过单一序贯检验（修正精确二项置信区间或 anytime-valid 置信序列）判定属性违反概率 p 是否超过阈值 θ，给出接受、拒绝或不确定三值结论，并将各类错误判定概率控制在指定误差预算内。
arXiv推荐指数4444 FIDES-Live：评估顺序交易智能体的行为一致性
FIDES-Live 将 FIDES 从生成策略一致性扩展到顺序智能体轨迹审计，对 10 条推理路径、7,299 个加密货币账户轮次及 310 轮股票试点进行回溯审计。加密货币决策有效率为 97.35%，可评分回答的结构化报告准确率为 90.81%，承诺遵守率整体为 94.36%。非空订单提案约束的遵守率降至 62.63%，而有效空提案为 97.56%；所有现金与持仓变动均与成交记录对账一致。
arXiv推荐指数3838 RefactorProof：LLM 生成的形式化证明在程序重构下的稳定性压力测试
研究提出 RefactorProof 基准，从 VERINA 中 185 个可编译任务派生出 458 个 Lean 认证变体，测试同一证明在行为保持的程序重构后是否仍然有效。
arXiv推荐指数6060 arXiv 论文研究无署名签名时如何检测 AI 编码代理的提交
论文基于来自 1,226 个仓库的 7,837,946 条提交，覆盖五个编码代理与人类提交，研究在去除 bot 账号、Co-authored-by 等署名签名后能否区分 AI 代理提交。
安全paper推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
arXiv:2610.36711 提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复是否泄露个人信息，尤其针对间接、部分、上下文相关或混淆的披露场景。
ShortSpan推荐指数7878 NTBench 论文揭示近目标提示词注入使 Meta-SecAlign-70B 攻击成功率从 3.2% 升至 36.7%
论文《On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection》提出近目标提示词注入（near-target prompt injection）与评测集 NTBench：注入指令不再要求模型放弃用户任务，而是让模型完成任务但把其中一处做错或做有害。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6161 arXiv论文分析1331起儿童相关AI事件：模型评测安全不等于实际安全
论文构建了以儿童为中心的AI伤害分类体系，整理并编码了1331起公开报道的儿童相关AI事件。研究发现伤害集中在表征、尊严和心理层面，且多与部署语境、治理和滥用失败相关，而非模型缺陷本身；对个体儿童的伤害还常波及未使用系统的其他儿童。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数6060 SpecGuard：基于形式化规约的运行时监控检测多轮 LLM 越狱
arXiv:2610.36258 提出 SpecGuard，一个免训练、规约驱动的多轮 LLM 越狱运行时监控框架。它用固定的原子命题契约把自然语言观察映射为带证据的事实，用 Linear Temporal Logic（LTL）规约描述被禁止的交互模式，并编译为符号有限自动机增量消费对话轨迹；通过的运行会产出可回放的 witness，标明触发的规约、支撑事实与相关对话轮次。
安全paper推荐指数7171 SEEK：面向科学Agent技能泄露的自进化黑盒红队方法
论文提出 SEEK（Skill Extraction with Evolving Knowledge），一个仅依赖用户可见响应的黑盒自进化红队Agent，用于从科学Agent平台提取可复用技能。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数3838 RobustRLlib：统一的鲁棒强化学习算法库与基准
RobustRLlib 是一个以算法为核心的开源库与基准，在统一接口下集成了 17 个代表性的鲁棒在线、离线与安全强化学习算法，并提供覆盖多样真实分布偏移以及人形机器人、视觉-语言-动作（VLA）任务的增强评测平台。
安全paper推荐指数5555 arXiv论文受控对比LoRA与全参数微调在提示安全分类上的表现
arXiv:2610.33813 论文在匹配的 400M 编码器-解码器模型（Ettin）上受控对比 LoRA 与全参数微调用于提示安全分类，跨三种任务格式、每组最多 15 个随机种子并采用预设分析。
arXiv推荐指数5353 AquaSense-ICS：面向智慧水质监测与攻击检测的混合真实-仿真数据集与泄漏感知基准
论文发布 AquaSense-ICS 开源数据集与基准，将 Raspberry Pi 5 边缘节点 25.4 小时记录窗口（8.0 小时实录数据、26% 覆盖率。
arXiv推荐指数4545 PPFLex：基于 MPC 的联邦学习隐私保护方法，抵御梯度引导矩阵标签推断攻击
研究发现，梯度引导的联邦学习优化方法共享的引导矩阵存在隐私漏洞，恶意服务器在 Dirichlet 标签分布下可从共享矩阵推断客户端标签集，准确率达 50% 至 84%。
arXiv推荐指数7676 MCP-Injector 论文揭示工具调用 Agent 在真实 MCP 故障下的脆弱性，规模不提升容错
论文提出 MCP-Injector，一个协议感知的故障注入中间件，可插入 MCP 工具调用路径并注入永久、瞬时、间歇三类故障，其故障模型基于 1,774 个开源 MCP 仓库的 57,240 条 issue 与 PR 讨论校准。
arXiv推荐指数4747 超越覆盖率与变异分数：LLM 生成单元测试的盲区分析（提出 BlindSpotEval 与 ObligBench）
arXiv 论文提出基于行为义务的 LLM 生成单元测试评估框架 BlindSpotEval，含 Boundary-Value Adequacy、Control-Flow Adequacy、Oracle Strength 三项指标，并发布 Java 基准 ObligBench（895 个复杂函数 + 700 个低复杂度函数）。
arXiv推荐指数4747 CONSTRAINTDIAL：通过协议变异终身构建智能合约安全任务
arXiv 论文提出 CONSTRAINTDIAL 框架，通过协议变异终身构建智能合约安全任务，从 203 个公开案例构造 3,045 个任务输入，覆盖 detect、exploit、patch 三类。
安全paper推荐指数6868 arXiv论文评估激活探针检测潜在危害是否优于模型自身拒绝行为
arXiv:2610.30727 论文在15个指令微调LLM和38个激活读取器上，测试基于激活的latent harm探针（如Latent Guard）在表面改写、说服性框架和越狱包装等分布偏移下，能否检测到超出模型自身拒绝行为之外的危害信号。
arXiv推荐指数5555 MoST：基于搜索的视觉语言模型模态敏感性测试框架
论文提出 MoST，一个针对视觉语言模型（VLM）的黑盒测试框架，通过比较仅图像、仅文本和联合扰动来刻画模态敏感性，使用多目标搜索选择并组合扰动、调整其严重度，在限制图像与提示词改动幅度的同时寻求预测性能下降。
arXiv推荐指数4545 DeepAVR：基于多智能体协作的自动化漏洞修复深度分析框架
DeepAVR 提出一个多智能体协作的端到端自动化漏洞修复（AVR）框架，将修复过程分解为故障定位、补丁生成、编译验证、安全验证、功能验证与补丁审查等角色，并引入补丁条件化重定位与面向根因的补丁审查。在真实 C/C++ 漏洞修复数据集 VulnLoc 上，DeepAVR 为 92.3% 的漏洞生成了正确补丁，显著优于先前方法；在 SAN2VULN 上也展现出对训练期间未见漏洞的良好泛化能力。
arXiv推荐指数3434 基于混合 TSK-FCM 集成的可解释异常检测在 BETH 数据集上实现 AUROC 0.9951
一项研究提出混合模糊集成（Hybrid Fuzzy Ensemble），在 BETH 数据集上取得 state-of-the-art AUROC 0.9951，较原始 Isolation Forest 基线提升 17.1%。
arXiv推荐指数5757 Safety Probes 性能的缩放律研究：用模型规模与标注量预测探针误差
论文研究能否仅凭模型规模与标注数量提前预测安全探针性能，为此构建了 6 个规模与难度足够的新安全数据集，在 5 个模型家族的 20 个基座模型上训练 2 种探针架构，每个模型使用 32 到 10^6 条标注，以探针误差（1 - AUROC）衡量性能。
arXiv推荐指数2828 AIRO：面向工业物联网威胁检测与安全的流式机器学习框架
AIRO（Autonomous Intelligence-Driven Cybersecurity Risk Reduction System）框架结合 Apache Kafka 流式处理、攻击特征提取与机器学习推理，面向工业物联网（IIoT）实现威胁检测与响应，并通过 IP 封禁、账号暂停、流量限制等措施降低风险。
arXiv推荐指数5555 MIG-COW：基于梯度分解的可迁移 Deepfake 检测器对抗攻击
论文提出对抗攻击框架 MIG-COW，通过动量积分梯度与共识正交分解结合，捕捉异构 CNN 与 ViT 检测器的共性与模型特有漏洞。在 AADD-2025 Challenge 基准上，MIG-COW 白盒攻击成功率达 99.96% 且 SSIM 感知相似度高，显著优于现有基线；但对官方黑盒目标的 ASR 仅为 7.16%，尽管总分最佳，仍凸显迁移性难题。
arXiv推荐指数5757 SecLog-Bench：面向网络安全日志推理的可扩展基准发布
SecLog-Bench 是一个面向 LLM 网络安全日志推理的可扩展基准，覆盖 29 个攻击场景，支持重复执行与新场景接入，可规模化生成带攻击阶段标签的安全日志。
arXiv推荐指数5757 WildFakeToolBench：基于网络来源图像处理工具评测 AI 生成图像检测器
论文提出 WildFakeToolBench，一个由 220 个公开来源、142 个域名提炼出的 156 个可执行图像处理工具构成的评测集，每个工具保留来源证据并通过语法、执行与输出失真检查，且不使用被测检测器的反馈。
arXiv推荐指数6161 论文提出差分隐私图发布机制的实证审计方法与开源工具包
论文提出一套实证审计差分隐私（DP）图发布机制的方法，识别出金丝雀构造和见证统计量选择两个图特有审计设计问题，结合统计认证测试流程实现为开源 Python 工具包。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。