看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv arXiv推荐指数6363 BenchDoor：利用基准榜单激励实施数据投毒后门攻击
研究者提出 BenchDoor 系列数据投毒攻击，利用基准榜单对模型开发的导向作用，在保持良性性能的同时要求带来榜单提升，从而诱导采用被植入后门的数据。攻击者可篡改基准的训练或测试数据构造对抗性基准，也可在基准不变的情况下提供独立训练数据集，论文形式化出五种攻击场景。
arXiv推荐指数5858 KNOX：面向生成模型的硬件辅助监管沙箱
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
arXiv推荐指数6767 AuthorizationBench：评测 LLM Agent 的授权对齐
作者提出 AuthorizationBench，一个基于真实案例构建的 LLM Agent 授权对齐基准，包含 286 个可执行任务，覆盖情境触发、是否存在直接有害后果以及十个应用领域。
arXiv推荐指数6060 论文提出 show-up 攻击：恶意子智能体可越权拉主管入局
论文提出并研究 show-up 攻击，即恶意子智能体操纵主管智能体把它纳入超出其授权范围的任务，并构建包含 6 种攻击策略、188 个测试用例的 SUA-Arena 进行评测。对 6 个前沿大模型的评测显示全部存在该风险，例如 GPT-5.6-Sol 作为主管时 ASR 最高达 0.93。提示词与限制通信等缓解策略未能稳定降低风险，作者认为多智能体系统需要显式的权限边界执行机制。
arXiv推荐指数2424 SSTA：面向认知雷达的时空对抗攻击，跨9个模型黑盒攻击成功率超基线10.36%
研究者提出物理先验驱动的分段时空攻击 SSTA，通过全局-局部特征解耦分割机制提升跨架构迁移性，并用可微分时空算子与 EoT 策略把信道失真纳入动量迭代。在覆盖 CNN、RNN、Transformer 的 9 个异构模型交叉评测中，SSTA 的平均黑盒攻击成功率比 SOTA 基线高 10.36%。基带等效仿真显示生成波形经匹配滤波后主瓣衰减为 0 dB，噪底抬升严格落在恒虚警率容限内。
arXiv推荐指数1818 结合紧凑共享与预处理：Big Secrets Small Shares 重新审视安全多方计算
论文将 Damgård-Nielsen 的预处理方法与 Cramer-Damgård-de Haan 的 ramp 秘密共享思路结合，提出紧凑共享（compact sharing）方案，在多阶段 MPC 中实现通信开销的非渐近降低。
arXiv推荐指数2222 DISTA-LP：面向度量差分隐私的隐私保护分布式线性规划框架
DISTA-LP 是一个面向度量差分隐私（mDP）的隐私保护分布式优化框架，用紧凑的替代参数化取代原始 LP 系数矩阵上传，仅发布经校准扰动的参数向量，从而降低上传阶段的泄露与问题维度。
arXiv推荐指数7171 论文指出 LLM Agent 逐动作授权无法组合为全局授权
arXiv 论文提出组合式授权失败（CAF）概念，指单个工具调用或一对调用各自通过本地护栏，却违反跨意图、目的、来源、同意与委托的全局策略。核心结论是一条不可行性结果：关系型目的违规属于 2-safety 超属性，没有单条轨迹上的归责点，因此从不误报的逐动作监控无法检出，只有跨执行监控才能发现，而作者调研的六款护栏均未实现。
arXiv推荐指数2424 基于分层 DNA 密钥管理的安全多模态联邦优化框架
该论文提出一种安全多模态联邦优化框架，将本地数据保护与联邦更新保护分离：可信密钥管理方通过 HPKE 下发单一客户端密钥，客户端再用基于 HMAC 的 HKDF 本地派生各模态专属对称密钥。
arXiv推荐指数6262 研究提出针对大模型统计生成水印的统一攻击框架
该论文提出 score-ratio alignment 这一共性弱点，覆盖 KGW 及其变体、GumbelSoft、DipMark、ITS 和 SynthID 等主流 LLM 水印方案，攻击者仅需黑盒查询、无需密钥或模型权重即可生成规避检测且保持流畅的文本。
arXiv推荐指数2626 CAESAR：用于认知攻击评估的混合现实搜救平台
研究团队开发了 CAESAR，一个面向协作搜救训练的多用户混合现实框架，集成四类认知攻击并配套多模态数据采集管线，用于系统评估对抗条件下的认知攻击。受控用户研究深入分析了基于延迟的攻击，显示其对任务表现和用户行为产生可测量影响，并刻画了用户的主观体验。该工作已被 2026 IEEE ISMAR 接收，并将发表于 IEEE TVCG 特刊。
arXiv推荐指数2424 CyberHull：基于凸包的确定性恶意 URL 隔离框架
CyberHull 通过结构内容熵、超链接图拓扑和语义 token 分布等多个正交特征域上的凸包边界来识别恶意 URL，检测准确率达 92%，显著高于基于 PCA 的线性基线方法的 32%。
arXiv推荐指数3232 扩散模型采样阶段的隐私核算：可裁剪经验去噪器与混合采样器
研究提出一种免训练的可裁剪经验去噪器，作为贝叶斯最优去噪器的估计器，其单步敏感度可显式计算，使每个去噪步骤构成高斯机制，从而在 Gaussian DP 与 f-DP 框架下完成采样阶段的隐私核算。
arXiv推荐指数3232 HydraPoT：面向成本感知 LLM 辅助蜜罐的可配置多智能体框架
HydraPoT 是一个可配置多智能体蜜罐框架，将传统仿真、轻量 LLM 与云端 LLM 结合，按可配置的复杂度策略把每条攻击者命令路由到合适的智能体，并通过共享会话状态保持跨智能体切换的一致性。其运行时开销低于 5%，在异构智能体间保持上下文，保真度接近纯云端 LLM 蜜罐；在案例策略下云端处理 token 减少 72.6%，运营成本降低 3.7 倍。该成果已被 AINTEC 2026 接收。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
arXiv推荐指数3131 在受限设备与微控制器上测试 TLS 1.3 PQC
研究用 wolfSSL 在 Raspberry Pi Pico W、Pico 2 W、ESP32 和 Raspberry Pi Zero 上对 36 种 TLS 1.3 算法组合进行握手延迟与能耗基准测试。
arXiv推荐指数2222 RAISE：预测持续模糊测试中额外模糊测试的必要性
研究提出 RAISE（Risk-Aware Intensive Supplemental Execution Framework），一个按项目-天粒度做二分类、判断某天是否引入漏洞的 JIT 框架，用于优先为高风险项目-天分配额外模糊测试资源。
arXiv推荐指数1818 基于有向超奇异阿贝尔簇的后量子交换群作用
研究聚焦后量子密码中带 CM 定向的超奇异主极化阿贝尔簇上的 Shimura 类群作用，给出用高维同源表示 CM 定向及在受限有效群作用模型下计算该作用的工具。
arXiv推荐指数2626 工业信息物理系统中携带上下文动作意图的执行时验证：XAIR 运行时与 Action Intent Schema
针对工业控制单元中命令经推理、确认与传输后状态已变导致的“执行间隙”，Action Intent Schema（AIS）要求生产方声明决策有效期与假设，运行时 XAIR 在释放前重新校验意图，并以版本条件命令形式仅在控制器状态版本未变时执行。
arXiv推荐指数4949 Contextual Candour：面向混合敏感度上下文的 LLM 角色感知分级披露
研究者提出“分级披露”（graduated disclosure）访问控制框架，让 LLM 按用户授权级别校准回复的细节与敏感度，而非简单答或拒。该方法将分级披露建模为披露感知生成问题，用奖励优化抑制未授权事实泄露（含改写与近似表述）。在企业与临床基准上，其泄露显著低于 prompt、gating 与监督基线，同时保持正确性与可用性。
arXiv推荐指数4444 批量归一化层水印的漏洞与无数据移除攻击
研究揭示联邦学习中基于 Batch Normalization（BN）层的白盒水印方案存在根本性漏洞，并提出一种实用的无数据攻击，可在不访问代表性训练数据的情况下移除水印。在两个代表性 FL 水印方案上的实验显示，该攻击能持续移除水印且对模型性能影响极小。作者指出，DNN 水印方案应在符合 Kerckhoffs 原则的威胁模型下评估，而非依赖隐晦式安全。
arXiv推荐指数2020 面向电网边缘 OT 网络的延迟中性被动网络安全监控：OTSV 框架实测延迟差小于 0.12 毫秒
研究验证了 Operational Technology Supervisor（OTSV）三层被动监控框架在电网边缘时序敏感网络中实现延迟中性安全监控的可行性。
arXiv推荐指数4242 SPECTER：利用 USB 电源调制从气隙系统 covert 窃取数据
SPECTER 是一种后渗透隐蔽信道，通过主机侧 USB 电源控制从气隙与网络隔离系统中窃取数据，无需将载荷放入 USB 数据传输。
arXiv推荐指数3131 用数字孪生与 CSVSS 量化 ICS 网络社会影响，LLM 仅做首轮分析
一篇论文提出将数字孪生与 Cyber-Social Security 模型结合，用 Mininet 和 MiniCPS 构建虚拟化 ICS 环境模拟攻击场景。其核心是 Cyber-Social Vulnerability Scoring System（CSVSS），在 CVSS 基础上增加基于 Entity 与 Place 支柱的社会影响维度，输出单一可复现的严重性评分。
arXiv推荐指数5858 Proof-Carrying Contracts：让 AI Agent 无法违反的约束证明框架
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
arXiv推荐指数5858 论文提出用 40 个单词答案识别 API 背后的语言模型
Tapan Parikh 的论文提出一种模型指纹方法：用“说出一个声音”“说出一个诗人”这类日常问题的单词答案，在 94 个模型的对照面板上，40 个答案有 92.5% 的概率识别出确切模型，随机猜测仅 1.1%。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。