看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv arXiv推荐指数4747 重审量化深度神经网络的隐私风险：4-8 bit 量化模型仍易受成员推断攻击
一项针对量化深度神经网络（QNN）隐私风险的实证研究显示，4-8 bit 的实用量化级别对成员推断攻击（MIA）防护作用有限，量化模型与全精度模型同样脆弱；2-bit 激进量化虽能带来一定隐私收益，但以显著的效用下降为代价。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
arXiv推荐指数7272 SimpleLoRIF 用梯度归因定位致害微调数据并构建 SafeTulu
论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别与不安全行为梯度对齐的微调样本；通过简化低秩归因并将反向传播限制在最后四个 transformer 块，可处理百万级样本。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
arXiv推荐指数7878 研究：42个AI聊天平台中21个向第三方泄露对话标题，9个泄露用户提示词原文
一项即将发表于 IEEE Symposium on Security & Privacy (S&P) 2027 的研究对42个通用及医疗、法律、教育垂直领域的AI聊天平台网页端进行了系统测量，审计其嵌入的第三方分析、广告和会话回放脚本。
arXiv推荐指数6060 arXiv 论文审计 17 个模型家族的预训练信息披露延续性
该论文基于 2025 Foundation Model Transparency Index（FMTI）的 24 项预训练相关指标，对 17 个模型家族共 41 个模型条目进行文档审计，在 10 个家族的 24 组相邻版本比较中追踪披露的增减与保留情况。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
安全paper推荐指数6767 Value Probes 论文：用目标模型激活的线性探针改进束搜索红队审计
arXiv:2610.38526（Jonathan F. Jao、Andrew Kyle Lampinen）将自动化 LLM 红队审计建模为以对话历史为状态、judge 分数为奖励的 MDP，提出用束搜索替代纯 auditor 探索对话分支，并训练 "Value Probes"——目标模型激活上的线性探针预测折扣未来审计奖励作为启发式。
安全paper推荐指数5959 arXiv 论文提出用连续风险景观替代二元越狱评测指标
arXiv:2610.38595 论文提出用连续、上下文条件化的风险景观替代二元攻击成功率（ASR）来评估 LLM 越狱，通过固定候选首 token 开头并反复采样其续写来估计首 token 分支上的风险分布。该视角区分了当前解码器暴露度与安全改道能力两个互补属性，揭示了看似安全输出下隐藏的高风险分支，并发现针对已知自适应防御最强的攻击在防御生效后不一定仍是最强的。
arXiv推荐指数4141 SecDMP：可证明安全的数据内存依赖预取防御（NDSS 2027 扩展版）
SecDMP 提出一种可证明安全的硬件防御，要求在内存中标记机密数据，确保数据内存依赖预取器（DMP）永不将这些机密编码进微架构，且不牺牲公开数据的性能。论文形式化证明 SecDMP 不引入超出无 DMP 基线语义的泄漏，与推测执行防御结合可为 constant-time 代码恢复完整的微架构安全。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。