NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 241 条 · 更新于 15:39
安全paper推荐指数7575
arXiv推荐指数5656 Typed Template Fuzzing：用 LLM 预处理生成类型化模板的模糊测试方法
论文提出轻量级 LLM 模糊测试方法 Typed Template Fuzzing（TTF），在预处理阶段用 LLM 将种子转化为类型化模板，随后无需语言专用解析器、类型检查器或额外 LLM 查询即可进行语义感知的变异模糊测试，并可利用种子与模板的对应关系修复 LLM 错误。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
arXiv推荐指数4545 ATLAS：将二进制提升为规范化编译器 IR 的多智能体框架
ATLAS 是一个多智能体框架，通过 Lift、Advisor、Validation 三个智能体的协作迭代，从优化后的二进制中重建形式合法、规范化的 LLVM IR。
arXiv推荐指数8686 arXiv 论文揭示编码智能体上下文压缩中的来源伪造攻击 Compaction Laundering
论文提出 Compaction Laundering 攻击：编码智能体压缩上下文时，若 harness 将带类型的消息拍平为单一字符串并用 [User]: 等文本标签标记，攻击者可伪造在压缩后仍被当作真实指令的用户轮次。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数7070 GUI Agent 成功自述泄漏研究：ICSE 2027 论文提出报告隔离审计器
论文提出 report-trace auditing，用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致，并定义了轨迹无法支撑的危险误报（dangerous misreport）。
arXiv推荐指数5858 ALIAS：评估 LLM 生成 TLA+ 规格时的性能与记忆效应
论文提出 ALIAS 方法，在 TLA+-Bench 的 111 个任务上检验一致标识符重命名（CIR）作为记忆检测手段的有效性，TLA+ 模型检查器作为行为判定的 oracle。
arXiv推荐指数5858 arXiv 论文：生物医学声明验证 Agent 的 harness 设计消融与引用审计
该论文在 SciFact 生物医学声明验证任务上，以 PubMed API 为唯一工具做受控消融，固定骨干模型与输出格式，对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数2929 AI Security Literacy：基于生态系统的能力框架与 K-12 学习平台
研究者提出 AI Security Literacy（AISL）框架，含覆盖学校生态的六个维度，技术维度以公开 AI 安全 benchmark 和可复现多随机种子对抗评测为依据，态度维度基于美国教师与成人的全国代表性调查微观数据。
arXiv推荐指数5858 ReMAS：用强化学习对多智能体系统做黑盒红队
作者提出 ReMAS，一个面向多智能体系统（MAS）的强化学习红队框架，通过微调攻击方 LLM 生成用于系统提示词提取的对抗提示。该框架分两步，先改写基础攻击提示以提高提取成功率，再生成攻击模板以提升调用特定子智能体、暴露其系统提示词的概率。实验显示其攻击成功率明显高于现有黑盒攻击方法，并可迁移到不同后端 LLM 与 MAS 结构。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
arXiv推荐指数6060 DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
arXiv推荐指数2222 MASAR：面向电信网络的多阶段攻击面分析与推理框架
论文提出 MASAR 形式化框架，用战略威胁映射、基于 DAG 的逻辑攻击路径分解和 TTP 运营合成三层结构，弥合 STRIDE 架构威胁建模与 MITRE FiGHT 运营知识库之间的差距。
arXiv推荐指数6262 研究揭示 LLM 漏洞发现 harness 的结构性漏报与隐藏漏洞
Gadi Evron 的论文指出，基于 LLM 的漏洞发现 harness 会因代码选取、过滤、结果存储与合并等环节的工程选择和错误，在模型运行前后丢弃真实可达的漏洞，且报告通常不作提示。
arXiv推荐指数2323 VMSpec：基于反编译器的虚拟机混淆对抗方法
VMSpec 是一种基于反编译器的自动化方法，通过构建 VM 处理器规格，让现有反编译器能分析 VM 混淆代码。在 147 个来自 Tigress 和 Code Virtualizer 混淆基准的程序及 6 个真实恶意软件 DGA 上，VMSpec 几乎剥离了所有样本的 VM 混淆，输出效果接近 Ghidra 对原始代码的反编译。
arXiv推荐指数5858 harness 对 LLM 漏洞发现影响多大？24 组模型配置的多模型研究
该论文用开源 harness 在生产代码库上测试 24 组模型与运行器配置，在 265 个已确认安全根因中，覆盖最广的两组配置合计发现 60.4%，14.3% 的根因仅被单一模型发现，没有任何配置覆盖全部发现。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数4141 RegretBench 与 BackUpper：编码 Agent 备份意识评测与自动备份方案
研究团队提出 RegretBench，用 205 个可执行任务评测编码 Agent 的备份意识：六个前沿模型平均完成任务率 86.1%，但在需要备份的关键时刻仅 15.2% 会提前保存状态。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。
arXiv推荐指数3131 CloudIR-Bench：面向云故障根因分析与缓解预测的公开基准
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准，数据集取自五套主流云系统的真实事故报告，并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验，并定性分析 LLM 在何处、为何失败，揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开，论文收录于 APSEC 2026。
arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
arXiv推荐指数7272 arXiv论文量化编码Agent过度遵循过期指令文件的行为并验证一句话修复
论文构建40个Python项目，在指令文件与现有代码约定冲突时让Claude Code和Codex CLI各运行320次。结果显示无干预时90.1%的选择遵循过期指令文件，Claude Code在80次运行中79次指出冲突仍照做，Codex CLI在80次中20次改写现有代码、其中17次导致项目测试失败。
arXiv推荐指数5757 ARATest：将研究声明转为可执行属性测试的论文
论文提出 ARATest，一个基于属性的测试库，把 AI agent 产出的研究声明中的隐含属性抽象为可执行的属性骨架进行检验。每个属性给出 holds、violated 或 inconclusive 三种判定，违规附带可复现的 witness；默认生成器读取 ARA 工件链接的证据，auto-research 生成器则派发 agent 运行已发布代码获取新用例。
arXiv推荐指数6262 审计 Agent 评测中的行为检测器：轨迹证据与标签的分歧研究
论文在基于 GSM8K 的工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每个模型 30 道题，发现最终正确性、可见复验与故障传播的自动标签存在系统性分歧。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数7272 Ulysses：面向 Web 漏洞可利用性验证的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，将候选 Web 应用漏洞发现转化为可验证的漏洞利用证明（Proof of Exploitability），通过迭代探索利用假设并以独立可观测的执行效果确认成功。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。