ImpasseBench：量化编码智能体证据与行动落差的评测集
论文提出评测集 ImpasseBench，研究编码智能体在环境阻塞时何时应停止并升级求助。该评测向可解修复任务注入 12 种环境阻塞，并标注轨迹中证据已充分的步骤，以区分合理努力、过度坚持与过早移交。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 76 条 · 更新于 15:38
arXiv推荐指数6666 arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5656 SpectralCanary：用低频痕迹审计 T2I 模型的数据集使用
SpectralCanary 通过平滑低通掩码将固定金丝雀图像混入数据集每张图片，caption 不变，无需辅助生成或逐图优化，轻量验证器可检测可疑模型输出中的转移信号。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv推荐指数5555 arXiv论文审计自适应序列模型中的隐藏未来token泄漏
论文研究自适应残差路由解码器中隐藏的未来token泄漏问题：序列级路由摘要使前缀位置在因果注意力掩码正确的情况下仍能访问未来token。一个24层异常检查点将验证损失从基线3.5958降至1.4259，但未通过前缀不变性审计且生成时参考模型困惑度显著升高；层间诊断将违规定位到动态路由查询路径上的全序列摘要广播。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
arXiv推荐指数4747 SYNAPSE：将工具使用经验作为独立字段评分，保护 Agent 工具池中未使用工具的检索
arXiv 论文提出 SYNAPSE 方法，将工具使用经验作为独立字段评分，在 Agent 共享工具池中保护未使用工具的检索效果。在 StableToolBench 上，SYNAPSE 使未使用工具的 Hit@5 达到 0.785，高于为使用经验预留槽位的 router（0.683），且在三个工具目录、两种 embedder 下均保持领先。
arXiv推荐指数5555 PAUSE：在编码智能体首次代码编辑前进行免搜索引导
论文提出 PAUSE 框架，在编码智能体执行首次源代码编辑前拦截并注入一次修复计划，无需学习型监控、检查点搜索或额外模型调用。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数3636 用稀疏自编码器构建可审计的 AI 文本检测器
研究者提出一条流水线，将微调后的神经文本检测器转换为基于人类可读概念的分类器：直接在检测器残差流上训练稀疏自编码器（SAE），为每个 SAE 特征分配自动解释标签，仅保留描述通过全局保真度阈值的特征，再在其上训练轻量分类器。
arXiv推荐指数6060 论文：企业文档解析丢失格式线索，Agent 需求识别 F1 从 0.690 降至 0.150
Yikai Zhao 的论文指出，主流文档转换器都会丢失作者通过文本外观编码的语义线索，使 Agent 在识别政策文档中被作者特别标注的要求时，micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075，该差距在 5 个 Claude 模型和 GPT-5.6 上均可复现。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
arXiv推荐指数4242 Sign Here：通过溯源归属构建更可信的软件供应链
研究提出从源码直接构建、绕过包注册表来阻断恶意包，基于 47,066 个恶意包与 npm/PyPI 共 33,138 个样本的评估显示，仅检查源码归属即可拦截 87.7%–99.9% 的恶意包。但良性包透明度不足，仅 47.4% 标注了可供终端用户构建的源码来源。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数3939 从 Token 到文件：AI 参与代码的多粒度检测与定位
研究者提出一种在 token 级建模 AI 作者身份、并在行、块、文件三级预测的框架，用冻结代码语言模型加两个低秩适配器，以逐 token 对数似然比作为局部证据。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数4949 每个模型都留下痕迹：多分辨率 LLM 指纹识别研究
研究提出"指纹分辨率"框架，从模型分辨率（跨家族、蒸馏变体、LoRA 适配）与信号分辨率（行为、文体、词汇、语义）两个维度考察 LLM 生成文本的可归属程度。结果显示指纹可超越家族差异，在蒸馏模型乃至同一基座的 LoRA 适配版本中仍可检测；表面与词汇线索被改写后归属能力减弱，但仍有大量模型特异信号残留，且可跨提示分布与语言迁移，其中语义表征跨语言最稳健。
Nature推荐指数6262 Nature 论文提出模块化多智能体个人健康助手 PHA 并开源评测基准
论文提出基于 Gemini 2 家族模型的模块化多智能体个人健康助手 PHA，由数据科学 DS、领域专家 DE、健康教练 HC 三个子智能体与中央 orchestrator 组成，覆盖 11 项基准、超过 7,000 条人工标注和 1,350 小时（651 小时终端用户、699 小时专家）投入。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数3434 BrushOff：基于笔触重渲染的绘画水印去除攻击
研究者提出 BrushOff，一种无需训练、无需知晓水印、也不依赖生成模型的笔触重渲染攻击，可将 VINE 水印在 500 幅五种风格绘画上的检测率从至少 97.8% 降至 1.8%，输出无参考质量分数接近干净画作。
安全paper推荐指数7474 AutoRedClaw：面向 claw 式 Agent 的自动化红队框架与 RedClaw-Bench 基准
AutoRedClaw 是一个面向持久化 claw 式 LLM Agent 的自动化红队框架，可同时生成端到端状态投毒攻击及其运行所需的任务环境，并据此构建 330 例的 RedClaw-Bench 基准。
ShortSpan推荐指数7878 CoRedSkill 论文：通过 AST 改写将恶意操作拆分到多个 Agent skills 以规避逐包审计
论文提出 CoRedSkill，一种针对可复用 Agent skills 的组合式红队方法：把恶意操作拆分到多个协作 skill 中，借助抽象语法树（AST）改写任务辅助函数，同时保持接口与可见任务逻辑不变，使单个 skill 包看起来无害，而在 Agent 按序调用时拼装成完整攻击。
ShortSpan推荐指数7474 研究论文揭示 schema 合法判定可被用于劫持应用决策
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持（JPDH）风险：攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定，从而翻转应用代码执行的决策。
ShortSpan推荐指数7474 arXiv论文：多智能体LLM系统中拓扑结构决定受保护信息流向哪些未授权接收方
论文《When Agents Talk, Secrets Travel》研究多智能体LLM系统（MALS）中由常规协调转发导致的隐私泄露，无需攻击者介入。作者在coordinator-worker、peer-to-peer、hierarchical三种拓扑下评估485个场景，插桩7个通信通道，产生8,730次执行记录。
ShortSpan推荐指数7878 ToFu 模糊测试揭示 MCP 工具普遍不校验自身描述承诺的输入规则
研究团队提出工具感知的模糊测试框架 ToFu，针对 LLM-编排层-工具信任边界，在 273 个 MCP 服务器、3405 个工具上发现 343 个工具存在经人工确认的漏洞，涵盖路径遍历、日志注入、SSRF、OS 命令注入等 CWE 类别。
ShortSpan推荐指数7171 KEX-bench 评测编码智能体生成内核利用原语：无参考 PoC 时 Windows 任务仅解出 1/20
研究者提出 KEX-bench，用 40 个真实 Linux 与 Windows CVE 构造 45 个任务，检验编码智能体能否把内核漏洞转成可验证的利用原语。