EMNLP 2026 论文定义长对话状态完整性坍塌并发布 StateTrack-Bench 评测
论文定义了 State Integrity Collapse，即模型在记忆中保留了约束却在后续对话中不再遵守，并发布 StateTrack-Bench 评测套件，覆盖数值、格式、角色/人设、事实记忆与逻辑规则五类约束。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
arXiv推荐指数6363 arXiv推荐指数4747 超级智能软件工程：随能力扩展的治理（OSTEON）
arXiv 论文提出"超级智能软件工程"（OSTEON）框架，主张当软件 Agent 能力超越人类工程师时，治理（门控、契约、决策与知识衰减控制）必须随能力同步扩展，否则仅靠能力无法保证软件正确性。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。
安全paper推荐指数7171 arXiv论文提出通过后训练提升思维链可监控性
arXiv:2610.29734 论文提出一种无监督后训练目标，通过最大化思维链（CoT）与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上，该方法恢复了大部分或全部丢失的可监控性；应用于未退化策略时，还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力，并增加实质性推理的比例。
安全paper推荐指数5555 WRDO：对齐语言模型中加权拒绝方向优化方法
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization（WRDO），通过学习聚合权重，将多个逐 prompt 的残差流拒绝方向组合成复合方向，替代传统的有害与无害提示均值差向量。
arXiv推荐指数5050 REGATTA：面向企业 AI Agent 的跨域测量框架与故障注入评测论文
论文提出 REGATTA（Regulatory Evaluation of Agents via Two-stage Testing and Assurance），一个面向企业 AI Agent 评测的测量框架，包含 125 项带来源引用的清单（覆盖美国与越南五个行业-司法辖区单元）、25 个故障语料，以及在设计与执行两阶段为测试套件打分的故障注入 harness。
arXiv推荐指数5454 AI辅助敏捷软件工程经验报告：代码变廉价后评测成为瓶颈
一篇 arXiv 经验报告记录了单名开发者全程零手写代码、在三个工作日内构建并部署一套合规关键、人在环路的考试评分系统的过程。作者提出核心论点：AI 对软件工程的改变不在于让编程更快，而在于改变了稀缺资源——写代码变得充裕，而可靠评测与工程判断成为约束迭代的瓶颈。
arXiv推荐指数4545 ATLAS：将二进制提升为规范化编译器 IR 的多智能体框架
ATLAS 是一个多智能体框架，通过 Lift、Advisor、Validation 三个智能体的协作迭代，从优化后的二进制中重建形式合法、规范化的 LLVM IR。
arXiv推荐指数4747 SYNAPSE：将工具使用经验作为独立字段评分，保护 Agent 工具池中未使用工具的检索
arXiv 论文提出 SYNAPSE 方法，将工具使用经验作为独立字段评分，在 Agent 共享工具池中保护未使用工具的检索效果。在 StableToolBench 上，SYNAPSE 使未使用工具的 Hit@5 达到 0.785，高于为使用经验预留槽位的 router（0.683），且在三个工具目录、两种 embedder 下均保持领先。
arXiv推荐指数5555 VLTest：黑盒测试视觉语言模型图文联合失败的方法
论文提出 VLTest，一种针对视觉语言模型（VLM）的黑盒测试方法，通过编辑 VQGAN 潜在编码生成图像变体、用改写-扩展-裁剪流程生成文本变体，并在测试组合前先单独测试每个变异，使每个联合失败都有四个匹配单元格可供归因。
arXiv推荐指数4343 Beyond Policy Engines：绑定完备的执行准入（BCEAC）框架
arXiv 论文提出 Binding-Complete Execution Admission Contract（BCEAC），指出策略引擎给出 ALLOW 决定并不等于治理来源完整参与、上下文精确绑定或具备执行准入依据，并将治理解析、策略评估、独立准入校验与下游执行中介分离。
arXiv推荐指数7575 arXiv论文提出针对LLM辅助数字取证的反取证提示词注入分类与概念验证
论文指出数字取证场景反转了间接提示词注入的常规设定：被分析的证据本身由攻击者控制，且检验人员必须仔细阅读，使推理层成为继数据和工具之后的新反取证目标。作者扩展了反取证模型以涵盖对推理过程的操纵，提出由目标、技术、载荷位置和隐藏方式构成的攻击分类，并指出确定性工具、人类检验人员与模型对同一证据存在感知差异，这正是注入能绕过检验人员触达模型的原因。
arXiv推荐指数1212 多跳通信中"当前位置"与"目标位置"隐私的权衡研究
arXiv:2610.29772 研究多跳无线网络中"当前位置"与"目标位置"两类位置隐私的权衡，指出即使消息内容加密，通信事实本身仍会泄露发送方与接收方的物理位置。文章探讨用户应如何选择虚拟目标（dummy destinations）来混淆查询，共 36 页，归类于 cs.CR（Cryptography and Security）。
arXiv推荐指数3333 流量生成工具影响 MQTT 流级聚类：跨 4 个公开数据集的无监督表征研究
一项跨数据集研究用 Zeek-flowmeter、Argus、NTLFlowLyzer 三种开源流量生成工具，从 4 个公开 MQTT 数据集的抓包中生成超过 380K 条流，并用 K-means、DBSCAN、HDBSCAN（含与不含 PCA 降维）进行无监督聚类，以 Silhouette score 和 Adjusted Rand Index 评估。
arXiv推荐指数1818 基于求逆的 S-box 线性自对称性研究：一般刚性与 AES S-box 应用
arXiv 论文研究基于有限域求逆的 S-box 在外层可逆线性变换取遍 GL_n(F_2) 时非平凡线性自对称性残留的概率，通过两侧线性等价分类归约为半线性共轭与中心化子估计，得到匹配的上下界并确定其主导二次指数，该指数由扩张次数的最小素因子决定。作为密码学应用，论文给出实用刚性判据，证明完整 AES S-box 无非平凡线性自对称性，并以 ARIA 和 Vision 说明框架的更广泛相关性。
arXiv推荐指数8686 arXiv 论文揭示编码智能体上下文压缩中的来源伪造攻击 Compaction Laundering
论文提出 Compaction Laundering 攻击：编码智能体压缩上下文时，若 harness 将带类型的消息拍平为单一字符串并用 [User]: 等文本标签标记，攻击者可伪造在压缩后仍被当作真实指令的用户轮次。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数2828 Free-XOR TFHE via Lazy Bootstrapping：支持全部对称二元布尔门的门自举框架
arXiv 论文提出一种新的 TFHE 门自举（gate bootstrapping）框架，XOR 门可通过直接相加两个输入密文实现"免费"计算，其余全部 8 个对称二元布尔门（即输入为 (0,1) 与 (1,0) 时输出相同的门）仅需两次盲旋转（blind rotation）即可求值。
arXiv推荐指数4040 GhostFaceMPC：基于 MPC 的隐私保护人脸识别系统
GhostFaceMPC 是首个在安全多方计算（MPC）下完成深度卷积神经网络特征提取与匹配的端到端隐私保护人脸识别系统，全程不暴露原始图像或生物特征嵌入。论文提出面向 MPC 的 GhostFaceNet 量化方案与电路优化，使 MPC 下的人脸识别具备实用性，代码已开源。
arXiv推荐指数7070 GUI Agent 成功自述泄漏研究：ICSE 2027 论文提出报告隔离审计器
论文提出 report-trace auditing，用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致，并定义了轨迹无法支撑的危险误报（dangerous misreport）。
arXiv推荐指数2626 SAKURA：面向手机端私密图像编辑的注意力 KV 状态带宽自适应缓存架构
SAKURA 提出一种云边协同架构，在带宽预算内向移动设备交付可复用的注意力 KV 状态，用于扩散 Transformer（DiT）图像编辑的私密推理。该架构采用 token 重要性感知的细粒度压缩方法，运行时根据网络带宽自适应选择缓存表示，并通过流水线运行时将缓存传输与重建同设备端执行重叠。
arXiv推荐指数4141 AssureCode：面向可信 Agentic 编码的结构化论证方法
AssureCode 提出一种工具支持的方法论，用结构化论证（structured argumentation）驱动 AI 辅助软件开发，将自然语言 prompt、形式化规约、开发者意图假设与程序分析证据以可验证的格式关联起来。
arXiv推荐指数5858 ALIAS：评估 LLM 生成 TLA+ 规格时的性能与记忆效应
论文提出 ALIAS 方法，在 TLA+-Bench 的 111 个任务上检验一致标识符重命名（CIR）作为记忆检测手段的有效性，TLA+ 模型检查器作为行为判定的 oracle。
arXiv推荐指数5555 PAUSE：在编码智能体首次代码编辑前进行免搜索引导
论文提出 PAUSE 框架，在编码智能体执行首次源代码编辑前拦截并注入一次修复计划，无需学习型监控、检查点搜索或额外模型调用。
arXiv推荐指数5252 通过对照语言验证 LLM 自动形式化规格的论文
论文提出用对照语言（contrapuntal languages）验证 LLM 自动形式化生成的代码规格：构造一对任务专用形式语言，各自独立形式化用户意图，仅当求解器证明两种形式化等价时才接受该规格，以实现错误去相关。
arXiv推荐指数5858 arXiv 论文：生物医学声明验证 Agent 的 harness 设计消融与引用审计
该论文在 SciFact 生物医学声明验证任务上，以 PubMed API 为唯一工具做受控消融，固定骨干模型与输出格式，对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
arXiv推荐指数5151 arXiv 论文研究非母语语法错误对大语言模型社会偏见的影响
论文提出一个受控框架，将非母语写作者常见语法错误注入 prompt，并在覆盖性别、种族、宗教的刻板印象对齐与人口偏好三个偏见评测集上测试。结果显示语法错误会增大模型偏见，且随错误率上升而加剧；四类常见错误中，介词错误带来的刻板印象对齐增幅最大且最稳定，分析认为错误越可能干扰理解时偏见增幅越明显。
arXiv推荐指数4747 研究揭示 LLM 价值观训练的非预期副作用：未训练价值观、风险偏好与安全特质均受影响
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现，针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议，后训练阶段的价值观对齐应纳入更广泛的行为评估，并需研究额外价值观训练在流程中的最佳位置。
arXiv推荐指数2222 通用 LLM 时代被忽视的上下文隐私：为何统一的提示词隐私框架不可取
论文指出，用户跨多个场景使用单一通用 LLM，促使提示词隐私研究走向统一框架，但这忽视了隐私本质上是上下文相关的，可能带来虚假安全感。作者认为未来统一框架仍需面对提示词隐私多项理想属性间的根本张力，建议转向按应用部署 LLM、按上下文评估隐私框架并提升隐私素养。
arXiv推荐指数2222 ExGrad：对抗训练中显式干净梯度相减，超越单纯抑制
ExGrad（外推梯度重组）通过构造干净输入、对抗输入与 AWP 梯度并测量其边界响应，在无约束的有界仿射域上求解三变量系数选择问题。在 CIFAR-10 上，负干净系数随仿射半径增大而迅速占主导；将干净系数置零并不足够，适度相减可提升 PGD-20，更强相减则以干净精度换取进一步增益。
arXiv推荐指数3434 Commit or Abstain？System One 决策模型、LLM 与缺失的法律依据
研究将 CaseHOLD 扩展出弃权条件（5,314 题中 1,670 题替换正确判决），对比四个 System One 决策模型与六个生成式 LLM：无正确选项时生成式 LLM 仍有 38-86% 强行选一项，最谨慎的决策模型为 30%。
arXiv推荐指数4141 VX-One：面向实时边界分诊的类型化校准决策头，实测未知攻击诚实性、级联灰区与漂移下的校准
VX-One 是一个 100K-10M 参数的小型多头网络，输出校准门控、含显式 unknown 选项的闭集选择与序数分数三类类型化决策原语，CPU 上 p50 约 0.7-1.7 ms。
arXiv推荐指数3636 用稀疏自编码器构建可审计的 AI 文本检测器
研究者提出一条流水线，将微调后的神经文本检测器转换为基于人类可读概念的分类器：直接在检测器残差流上训练稀疏自编码器（SAE），为每个 SAE 特征分配自动解释标签，仅保留描述通过全局保真度阈值的特征，再在其上训练轻量分类器。
arXiv推荐指数6060 论文：企业文档解析丢失格式线索，Agent 需求识别 F1 从 0.690 降至 0.150
Yikai Zhao 的论文指出，主流文档转换器都会丢失作者通过文本外观编码的语义线索，使 Agent 在识别政策文档中被作者特别标注的要求时，micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075，该差距在 5 个 Claude 模型和 GPT-5.6 上均可复现。
arXiv推荐指数2424 基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数6666 arXiv 论文提出 LLM Agent 长期记忆治理状态损坏的跨模型压力测试
论文研究 LLM Agent 长期记忆中的治理状态损坏问题，即存储内容与任务不变时，故障改变了哪些记忆记录进入模型可见上下文。研究覆盖 6 家厂商、731 个基准支撑的记忆库，产生 2,080 组配对故障；离线控制面检查中 96.25% 的配对改变了操作投影，oracle 支持的强制执行 100% 恢复。
arXiv推荐指数2626 CALLIOPE：不依赖嵌入向量、支持差分隐私的 AI 使用主题发现框架
CALLIOPE 是一个自上而下发现大规模非结构化数据（如 LLM 对话）主题层级、并支持差分隐私（DP）的框架，整个流程直接调用 LLM 能力，不依赖向量嵌入聚类。实验显示其在 DP 设置下效用优于现有基于嵌入的方法，高隐私区间尤为明显。团队用传统聚类指标及新提出的效用指标评估了输出质量。
arXiv推荐指数2929 AI Security Literacy：基于生态系统的能力框架与 K-12 学习平台
研究者提出 AI Security Literacy（AISL）框架，含覆盖学校生态的六个维度，技术维度以公开 AI 安全 benchmark 和可复现多随机种子对抗评测为依据，态度维度基于美国教师与成人的全国代表性调查微观数据。