跳到正文

看学术

AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。

分类筛选展开
共 528 条 · 更新于 15:39
10月21日周三
  1. arXiv52

    论文提出无人值守 Agent 自我改进的两个可测量前提:验证器强度与可恢复性

    论文提出平台可测量的两个量:验证器强度 σ 衡量可用验证器(常为 LLM judge)与可信参考验证器的一致程度,可恢复性衡量坏改动被撤销的成本。作者据此制定规则,允许 prompt、工具与技能编辑无人值守运行,权重更新仍需人工签核。

  2. arXiv40

    AI 流水线中的保障证据复用:有效性条件、fail-closed 发布门禁与 714 条公开 DVC 流水线回放

    研究提出签名证据记录的有效性条件与 fail-closed 发布门禁,用 Ed25519 数字签名实现的参考门禁在 9 个操纵场景中拦截 8 个,而仅验证签名的门禁只拦截 3 个、信任 planner 的门禁仅 1 个。

  3. arXiv18

    SCALF:用步骤级信用分配与失败轨迹自蒸馏增强缺陷暴露测试生成

    SCALF 是一种过程监督强化学习方法,结合步骤级信用分配与对有价值失败轨迹的定向学习,用于为大语言模型生成的代码自动生成能暴露缺陷的测试。它从过程奖励中推导每步优势,并将触发缺陷但输出预测错误的轨迹转入同策略自蒸馏。在三个基准上,其联合成功率、输出正确率和缺陷触发率分别比强提示与后训练基线最高提升 2.97、5.26 和 3.53 个百分点。

  4. arXiv32

    大语言模型跨语言代码翻译中的幻觉:现象与缓解

    一项系统性实证研究在三个基准数据集、六组语言对和七个 LLM 上考察跨语言代码翻译幻觉,构建了语义一致性冲突、事实知识冲突、项目上下文偏离三类分类法,并人工标注 13,919 个幻觉案例。研究进一步提出 HaluCodeTran 缓解框架,结合基于 BM25 的翻译示例检索与分类法感知的反思式精炼。

  5. arXiv26

    SyLares:面向免编译补丁存在性测试的神经符号推理引擎

    SyLares 将免编译补丁存在性测试重构为神经符号推理,由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入,最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道,符号通道仅在 20% 代码案例中成功,其余回退到 LLM 裁决,易产生幻觉且两通道无法互相增强。

  6. arXiv29

    Foreword:用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败

    Foreword 框架通过同时学习通过和失败的参考输入,并用 Jacobian lens(J-lens)表示输入,在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上,其四种表示与估计器组合平均优于 Clotho,失败预测 ROC-AUC 平均提升 0.14、最高 0.31,前 100 个优先输入中失败数平均多 15%、最高 33%。

  7. arXiv63

    BenchDoor:利用基准榜单激励实施数据投毒后门攻击

    研究者提出 BenchDoor 系列数据投毒攻击,利用基准榜单对模型开发的导向作用,在保持良性性能的同时要求带来榜单提升,从而诱导采用被植入后门的数据。攻击者可篡改基准的训练或测试数据构造对抗性基准,也可在基准不变的情况下提供独立训练数据集,论文形式化出五种攻击场景。

  8. arXiv58

    KNOX:面向生成模型的硬件辅助监管沙箱

    论文提出 KNOX,将 AI 工作负载运行在 TEE 内以构建监管沙箱,并针对给定用户提示生成受证实的策略清单,列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前,受证实的参考监视器会将其与策略清单比对,仅在匹配时放行,每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求,能检查法规合规性与提示词注入等导致的行为偏离,开销低于 1%。

  9. arXiv60

    论文提出 show-up 攻击:恶意子智能体可越权拉主管入局

    论文提出并研究 show-up 攻击,即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务,并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险,例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险,作者认为多智能体系统需要显式的权限边界执行机制。

  10. arXiv24

    SSTA:面向认知雷达的时空对抗攻击,跨9个模型黑盒攻击成功率超基线10.36%

    研究者提出物理先验驱动的分段时空攻击 SSTA,通过全局-局部特征解耦分割机制提升跨架构迁移性,并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中,SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB,噪底抬升严格落在恒虚警率容限内。

  11. arXiv71

    论文指出 LLM Agent 逐动作授权无法组合为全局授权

    arXiv 论文提出组合式授权失败(CAF)概念,指单个工具调用或一对调用各自通过本地护栏,却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果:关系型目的违规属于 2-safety 超属性,没有单条轨迹上的归责点,因此从不误报的逐动作监控无法检出,只有跨执行监控才能发现,而作者调研的六款护栏均未实现。

  12. arXiv26

    CAESAR:用于认知攻击评估的混合现实搜救平台

    研究团队开发了 CAESAR,一个面向协作搜救训练的多用户混合现实框架,集成四类认知攻击并配套多模态数据采集管线,用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击,显示其对任务表现和用户行为产生可测量影响,并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收,并将发表于 IEEE TVCG 特刊。

  13. arXiv32

    扩散模型采样阶段的隐私核算:可裁剪经验去噪器与混合采样器

    研究提出一种免训练的可裁剪经验去噪器,作为贝叶斯最优去噪器的估计器,其单步敏感度可显式计算,使每个去噪步骤构成高斯机制,从而在 Gaussian DP 与 f-DP 框架下完成采样阶段的隐私核算。

  14. arXiv32

    HydraPoT:面向成本感知 LLM 辅助蜜罐的可配置多智能体框架

    HydraPoT 是一个可配置多智能体蜜罐框架,将传统仿真、轻量 LLM 与云端 LLM 结合,按可配置的复杂度策略把每条攻击者命令路由到合适的智能体,并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%,在异构智能体间保持上下文,保真度接近纯云端 LLM 蜜罐;在案例策略下云端处理 token 减少 72.6%,运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。

  15. arXiv26

    工业信息物理系统中携带上下文动作意图的执行时验证:XAIR 运行时与 Action Intent Schema

    针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”,Action Intent Schema(AIS)要求生产方声明决策有效期与假设,运行时 XAIR 在释放前重新校验意图,并以版本条件命令形式仅在控制器状态版本未变时执行。

  16. arXiv49

    Contextual Candour:面向混合敏感度上下文的 LLM 角色感知分级披露

    研究者提出“分级披露”(graduated disclosure)访问控制框架,让 LLM 按用户授权级别校准回复的细节与敏感度,而非简单答或拒。该方法将分级披露建模为披露感知生成问题,用奖励优化抑制未授权事实泄露(含改写与近似表述)。在企业与临床基准上,其泄露显著低于 prompt、gating 与监督基线,同时保持正确性与可用性。

  17. arXiv44

    批量归一化层水印的漏洞与无数据移除攻击

    研究揭示联邦学习中基于 Batch Normalization(BN)层的白盒水印方案存在根本性漏洞,并提出一种实用的无数据攻击,可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示,该攻击能持续移除水印且对模型性能影响极小。作者指出,DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估,而非依赖隐晦式安全。

  18. arXiv55

    ClawMMU:为有状态 LLM Agent 设计保护一致的虚拟内存

    Jinhao Hu 提出 ClawMMU,为有状态 LLM Agent 的长期记忆增加保护层,给每条记忆标注归属者、作用域、来源与权限。ClawMMU 在内容进入模型上下文、写入存储、从存储返回或驱动工具调用时检查这些标签,核心规则是信息可以提高权限,但权限不能自我提升。

  19. arXiv31

    用数字孪生与 CSVSS 量化 ICS 网络社会影响,LLM 仅做首轮分析

    一篇论文提出将数字孪生与 Cyber-Social Security 模型结合,用 Mininet 和 MiniCPS 构建虚拟化 ICS 环境模拟攻击场景。其核心是 Cyber-Social Vulnerability Scoring System(CSVSS),在 CVSS 基础上增加基于 Entity 与 Place 支柱的社会影响维度,输出单一可复现的严重性评分。

  20. arXiv58

    Proof-Carrying Contracts:让 AI Agent 无法违反的约束证明框架

    论文提出 Proof-Carrying Contracts(PC2)框架,要求 AI Agent 在执行请求操作前提交可机器校验的证明,证明其在模型允许的所有情形下都保持约定约束,由名为 Airlock 的执行系统校验证明并控制操作访问。