看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv arXiv推荐指数2424 基于偏好反馈的差分隐私稀疏奖励估计
研究提出 Private Sparse RLHF 框架，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数6666 arXiv 论文提出 LLM Agent 长期记忆治理状态损坏的跨模型压力测试
论文研究 LLM Agent 长期记忆中的治理状态损坏问题，即存储内容与任务不变时，故障改变了哪些记忆记录进入模型可见上下文。研究覆盖 6 家厂商、731 个基准支撑的记忆库，产生 2,080 组配对故障；离线控制面检查中 96.25% 的配对改变了操作投影，oracle 支持的强制执行 100% 恢复。
WikiCFP推荐指数88 ASSURE-AI 2027 国际研讨会：AI 辅助软件工程的安全保障
ASSURE-AI 2027 国际研讨会聚焦 AI 辅助软件工程的安全保障，将于 2027 年 3 月 9 日在美国弗吉尼亚州举办，论文投稿截止日期为 2026 年 10 月 23 日。
WikiCFP推荐指数88 AIBDSG 2026：IEEE 2026 第三届人工智能、大数据与安全治理国际会议
IEEE 2026 第三届人工智能、大数据与安全治理国际会议（AIBDSG 2026）将于 2026 年 11 月 6 日至 8 日在中国杭州举行，论文提交截止日期为 2026 年 10 月 23 日。
WikiCFP推荐指数22 BLKCA 2026 第四届区块链与应用国际会议
BLKCA 2026 第四届区块链与应用国际会议将于 2026 年 12 月 29 日至 30 日以虚拟会议形式举行，论文提交截止日期为 2026 年 10 月 20 日。
arXiv推荐指数2626 CALLIOPE：不依赖嵌入向量、支持差分隐私的 AI 使用主题发现框架
CALLIOPE 是一个自上而下发现大规模非结构化数据（如 LLM 对话）主题层级、并支持差分隐私（DP）的框架，整个流程直接调用 LLM 能力，不依赖向量嵌入聚类。实验显示其在 DP 设置下效用优于现有基于嵌入的方法，高隐私区间尤为明显。团队用传统聚类指标及新提出的效用指标评估了输出质量。
arXiv推荐指数2929 AI Security Literacy：基于生态系统的能力框架与 K-12 学习平台
研究者提出 AI Security Literacy（AISL）框架，含覆盖学校生态的六个维度，技术维度以公开 AI 安全 benchmark 和可复现多随机种子对抗评测为依据，态度维度基于美国教师与成人的全国代表性调查微观数据。
arXiv推荐指数2828 LEAN：通过损失工程调制模型权重敏感度分布，实现高效容错神经网络
LEAN 提出一种复合正则化方法，可在微调或训练末期用十个 epoch 系统性调制已训练模型的权重敏感度分布，在九个视觉模型（ResNet-18、ResNet-50、VGG-16 于 CIFAR-10、CIFAR-100、ImageNet）上将敏感尾部缩小 5 至 13 倍，精度损失在 0.5 个百分点以内。
arXiv推荐指数5858 ReMAS：用强化学习对多智能体系统做黑盒红队
作者提出 ReMAS，一个面向多智能体系统（MAS）的强化学习红队框架，通过微调攻击方 LLM 生成用于系统提示词提取的对抗提示。该框架分两步，先改写基础攻击提示以提高提取成功率，再生成攻击模板以提升调用特定子智能体、暴露其系统提示词的概率。实验显示其攻击成功率明显高于现有黑盒攻击方法，并可迁移到不同后端 LLM 与 MAS 结构。
arXiv推荐指数6060 PerMIT：用机器校验完整性定理与社区信任保护 LLM Agent 持久记忆
PerMIT 提出一种面向 LLM Agent 持久记忆的架构，在仅信任用户输入与闸门确认值的显式假设下，通过有限记忆接口管控不可信环境值的释放与使用，并保留 Agent 的多轮规划与工具选择能力。
arXiv推荐指数5757 AgentPolicyForge 提出用可执行环境构建策略基准与自适应护栏
AgentPolicyForge 框架用可执行环境构造策略基准并迭代训练策略护栏，并据此构建了覆盖十个策略族的 PolicyGym 数据集，含 698 个训练场景与 254 个独立留出场景供人工评审测试。
arXiv推荐指数3131 扩散模型敏感度几何与强对偶：实现最优隐私-效用权衡
研究提出面向理想扩散去噪器的最优隐私-效用权衡框架，用精确敏感度刻画替代保守的直径式敏感度上界，并给出可证明最优的噪声校准。最坏情况敏感度仅需两条记录即可精确刻画，数据域大小为 m 时分析约束最多降至 m(m-1) 个，且可任意紧于传统上界。该工作还给出 Rényi、近似与高斯差分隐私的精确保证，并通过半定规划计算最小加权均方误差、证明强对偶以提供全局最优性证书。
arXiv推荐指数2222 NumAnchor：为汇编语言模型提供地址锚定的数值操作数表示
NumAnchor 是一种输入边界适配器，将汇编语言模型中可恢复的数值类操作数表示为带类型、规范化的程序实体，在不增加宿主序列长度的前提下保留实体身份与局部性。
arXiv推荐指数2020 新研究称 Regular Syndrome Decoding（RSD）比此前估计更容易求解
一项新研究提出改进的混合代数攻击，通过协调零坐标猜测与基于伴随式的变量消元，重新评估了 Regular Syndrome Decoding（RSD）的具体难度，发现许多广泛使用的参数集比此前估计更容易求解。
arXiv推荐指数6666 研究：AI 审批监控器的相关性失效与按来源计数规则
Luca Zanolini 在 arXiv 发表论文，研究多个 AI 审批监控器在共享基座模型或被投毒输入时可能同时失效的问题，并借用分布式计算的失效易发系统（fail-prone systems）来刻画这类监控器集合。
arXiv推荐指数4747 边缘 VLM 物理对抗鲁棒性统一评估框架：紧凑 grounding VLM 与目标检测器同样易受对抗补丁攻击
研究提出统一指标 cASR（条件攻击成功率），在匹配灰色遮挡物下比较紧凑 grounding VLM 与目标检测器对行人佩戴对抗补丁的检测逃逸情况，发现 VLM 可与检测器同样脆弱。失败模式主要与模型输出格式而非架构家族相关，其中位移与替换会返回高置信度、格式完整的框，仅遗漏对下游系统可见，因而更危险。分布偏移下，原本以遗漏为主的 VLM 会转向更多位移/替换失败。
arXiv推荐指数1818 对 Datta-Komargodski-Waters 去中心化多授权 ABE 方案的密码分析与修复
研究者对 Datta、Komargodski 与 Waters 发表于 Journal of Cryptology 2023 的去中心化多授权属性基加密（ABE）方案提出明文恢复攻击，在仅一个腐败授权方、两个用户属性集即便合并腐败授权方属性仍不满足授权条件的静态模型下即可成功。
arXiv推荐指数6060 DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
arXiv推荐指数2020 PQ-Vault：为未修改的以太坊提供可证明量子安全的资产托管
PQ-Vault 是一套面向未修改以太坊的资产托管系统，由量子安全 PoS 侧链、紧凑证书与乐观争议协议组成，要求资金转入仅依赖量子安全原语的合约。研究首次给出紧凑证书抗量子攻击的安全证明，并发现经典参数下安全强度从 128 位降至约 60 位，一条简单规则即可恢复。
arXiv推荐指数2222 MASAR：面向电信网络的多阶段攻击面分析与推理框架
论文提出 MASAR 形式化框架，用战略威胁映射、基于 DAG 的逻辑攻击路径分解和 TTP 运营合成三层结构，弥合 STRIDE 架构威胁建模与 MITRE FiGHT 运营知识库之间的差距。
arXiv推荐指数6262 研究揭示 LLM 漏洞发现 harness 的结构性漏报与隐藏漏洞
Gadi Evron 的论文指出，基于 LLM 的漏洞发现 harness 会因代码选取、过滤、结果存储与合并等环节的工程选择和错误，在模型运行前后丢弃真实可达的漏洞，且报告通常不作提示。
arXiv推荐指数2323 VMSpec：基于反编译器的虚拟机混淆对抗方法
VMSpec 是一种基于反编译器的自动化方法，通过构建 VM 处理器规格，让现有反编译器能分析 VM 混淆代码。在 147 个来自 Tigress 和 Code Virtualizer 混淆基准的程序及 6 个真实恶意软件 DGA 上，VMSpec 几乎剥离了所有样本的 VM 混淆，输出效果接近 Ghidra 对原始代码的反编译。
arXiv推荐指数4242 Sign Here：通过溯源归属构建更可信的软件供应链
研究提出从源码直接构建、绕过包注册表来阻断恶意包，基于 47,066 个恶意包与 npm/PyPI 共 33,138 个样本的评估显示，仅检查源码归属即可拦截 87.7%–99.9% 的恶意包。但良性包透明度不足，仅 47.4% 标注了可供终端用户构建的源码来源。
arXiv推荐指数5858 harness 对 LLM 漏洞发现影响多大？24 组模型配置的多模型研究
该论文用开源 harness 在生产代码库上测试 24 组模型与运行器配置，在 265 个已确认安全根因中，覆盖最广的两组配置合计发现 60.4%，14.3% 的根因仅被单一模型发现，没有任何配置覆盖全部发现。
arXiv推荐指数5555 SANE：面向 LLM 评审器的自动化评分器专属蜕变测试框架
作者提出 SANE，一个基于 Agent 的框架，把随机评估器的行为要求编码为可复用的 Agent 指令，根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。
arXiv推荐指数4141 RegretBench 与 BackUpper：编码 Agent 备份意识评测与自动备份方案
研究团队提出 RegretBench，用 205 个可执行任务评测编码 Agent 的备份意识：六个前沿模型平均完成任务率 86.1%，但在需要备份的关键时刻仅 15.2% 会提前保存状态。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。