AgentTrace：基于执行轨迹的黑盒 LLM Agent 指纹识别框架
论文提出 AgentTrace，通过可观测的执行轨迹识别黑盒 LLM Agent 背后的基础模型。该框架注入结构上存在歧义的探针，在严格的工具接口处触发对分词敏感的序列化失败，再用轻量级 Markov 链对后续多步修复轨迹建模，在对抗性身份伪装下达到 96.0% 归因准确率，并能区分共享相同分词器的同家族变体（如 Llama-3 8B/70B），且对 prompt 混淆和温度缩放保持稳健。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 258 条 · 更新于 15:39
arXiv推荐指数6565 arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5252 arXiv 论文研究 AI Agent 工作流中的授权与恢复机制
论文研究工具调用 AI Agent 的执行期可靠性，将检查点状态、派发授权、外部效果证据与结算授权区分为四类独立义务，并通过隐藏的供应商效果账本对历史记录做一致性核对。
arXiv推荐指数7070 Ulysses：面向 Web 漏洞可验证利用合成的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，用于为 Web 应用合成可验证的漏洞利用证明（Proofs of Exploitability），通过迭代探索利用假设并在独立观测的执行效果中确认成功，将候选漏洞发现转化为已验证结果。
arXiv推荐指数5252 Selective Auditing：通过选择性审计提升AI辅助决策可靠性
arXiv 论文提出在线监控AI系统决策的选择性审计方法，将任务形式化为在线约束优化问题，在保证未审计AI错误比例低于用户设定阈值的前提下最小化专家审计频率。作者推导出一族具有可证明误差控制保证且无需假设的算法，其中一种方法在对抗与i.i.d.数据流上均渐近达到最优审计率。在大语言模型有害请求筛查、文本标注与数据标注实验中，该方法实现了有效的误差控制，并相比基线显著减少了人工审计需求。
arXiv推荐指数6262 EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
arXiv推荐指数7272 arXiv 论文提出模拟控制评测 SCE，用大模型模拟工具响应预测护栏安全性
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应以替代真实环境，扩展控制评测的适用范围。在 LinuxArena 上，SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv推荐指数5656 扩散语言模型用于困惑度感知的黑盒攻击研究
论文提出将连续潜空间攻击框架直接耦合到连续扩散语言模型（dLLM）上，去除原先依赖随机映射的解码方式，保留标准高斯潜变量形式与下游采样或优化流程。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7575 NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。
arXiv推荐指数5656 Typed Template Fuzzing：用 LLM 预处理生成类型化模板的模糊测试方法
论文提出轻量级 LLM 模糊测试方法 Typed Template Fuzzing（TTF），在预处理阶段用 LLM 将种子转化为类型化模板，随后无需语言专用解析器、类型检查器或额外 LLM 查询即可进行语义感知的变异模糊测试，并可利用种子与模板的对应关系修复 LLM 错误。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
arXiv推荐指数4545 ATLAS：将二进制提升为规范化编译器 IR 的多智能体框架
ATLAS 是一个多智能体框架，通过 Lift、Advisor、Validation 三个智能体的协作迭代，从优化后的二进制中重建形式合法、规范化的 LLVM IR。
arXiv推荐指数8686 arXiv 论文揭示编码智能体上下文压缩中的来源伪造攻击 Compaction Laundering
论文提出 Compaction Laundering 攻击：编码智能体压缩上下文时，若 harness 将带类型的消息拍平为单一字符串并用 [User]: 等文本标签标记，攻击者可伪造在压缩后仍被当作真实指令的用户轮次。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数7070 GUI Agent 成功自述泄漏研究：ICSE 2027 论文提出报告隔离审计器
论文提出 report-trace auditing，用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致，并定义了轨迹无法支撑的危险误报（dangerous misreport）。
arXiv推荐指数5858 ALIAS：评估 LLM 生成 TLA+ 规格时的性能与记忆效应
论文提出 ALIAS 方法，在 TLA+-Bench 的 111 个任务上检验一致标识符重命名（CIR）作为记忆检测手段的有效性，TLA+ 模型检查器作为行为判定的 oracle。
arXiv推荐指数5858 arXiv 论文：生物医学声明验证 Agent 的 harness 设计消融与引用审计
该论文在 SciFact 生物医学声明验证任务上，以 PubMed API 为唯一工具做受控消融，固定骨干模型与输出格式，对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数2929 AI Security Literacy：基于生态系统的能力框架与 K-12 学习平台
研究者提出 AI Security Literacy（AISL）框架，含覆盖学校生态的六个维度，技术维度以公开 AI 安全 benchmark 和可复现多随机种子对抗评测为依据，态度维度基于美国教师与成人的全国代表性调查微观数据。
arXiv推荐指数5858 ReMAS：用强化学习对多智能体系统做黑盒红队
作者提出 ReMAS，一个面向多智能体系统（MAS）的强化学习红队框架，通过微调攻击方 LLM 生成用于系统提示词提取的对抗提示。该框架分两步，先改写基础攻击提示以提高提取成功率，再生成攻击模板以提升调用特定子智能体、暴露其系统提示词的概率。实验显示其攻击成功率明显高于现有黑盒攻击方法，并可迁移到不同后端 LLM 与 MAS 结构。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
arXiv推荐指数6060 DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
arXiv推荐指数2222 MASAR：面向电信网络的多阶段攻击面分析与推理框架
论文提出 MASAR 形式化框架，用战略威胁映射、基于 DAG 的逻辑攻击路径分解和 TTP 运营合成三层结构，弥合 STRIDE 架构威胁建模与 MITRE FiGHT 运营知识库之间的差距。
arXiv推荐指数6262 研究揭示 LLM 漏洞发现 harness 的结构性漏报与隐藏漏洞
Gadi Evron 的论文指出，基于 LLM 的漏洞发现 harness 会因代码选取、过滤、结果存储与合并等环节的工程选择和错误，在模型运行前后丢弃真实可达的漏洞，且报告通常不作提示。
arXiv推荐指数2323 VMSpec：基于反编译器的虚拟机混淆对抗方法
VMSpec 是一种基于反编译器的自动化方法，通过构建 VM 处理器规格，让现有反编译器能分析 VM 混淆代码。在 147 个来自 Tigress 和 Code Virtualizer 混淆基准的程序及 6 个真实恶意软件 DGA 上，VMSpec 几乎剥离了所有样本的 VM 混淆，输出效果接近 Ghidra 对原始代码的反编译。
arXiv推荐指数5858 harness 对 LLM 漏洞发现影响多大？24 组模型配置的多模型研究
该论文用开源 harness 在生产代码库上测试 24 组模型与运行器配置，在 265 个已确认安全根因中，覆盖最广的两组配置合计发现 60.4%，14.3% 的根因仅被单一模型发现，没有任何配置覆盖全部发现。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数4141 RegretBench 与 BackUpper：编码 Agent 备份意识评测与自动备份方案
研究团队提出 RegretBench，用 205 个可执行任务评测编码 Agent 的备份意识：六个前沿模型平均完成任务率 86.1%，但在需要备份的关键时刻仅 15.2% 会提前保存状态。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。