Microsoft Learn 推出生成式 AI 红队演练入门视频系列
Microsoft Learn 于 2025 年 7 月发布了一套生成式 AI 红队演练入门视频系列，内容基于 Microsoft 自有 AI 红队的案例研究与工具链。该系列与 Code and PoCs 下的 AI Red Teaming Playground Labs 挑战任务对应，既可独立观看，也可配合实验环境实操演练。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 258 条 · 更新于 15:39
AI安全推荐指数4242 安全向导推荐指数4242 Microsoft AI Red Team：团队组织、红队演练规划与威胁建模入口
Microsoft AI Red Team 公开其 AI 红队演练材料入口，介绍团队组织方式、一次红队演练行动的规划流程，以及演练中重点寻找的失败模式。该入口同时列出失败模式与威胁建模相关文档，作为后续威胁建模工作的起点。
CTFtime推荐指数1818 L3m0n CTF 2026 预选赛（Quals）：Jeopardy 线上赛，含 AI 与 LLM 安全赛道
L3m0n CTF 2026 预选赛将于 11 月 28 日 04:30–16:30 UTC 以 Jeopardy 线上形式举行，由 Amrita Vishwa Vidyapeetham（Coimbatore）主办、TIFAC-CORE in Cyber Security 承办，队伍规模 1–4 人，顶尖队伍获邀赴校内决赛。
CTFtime推荐指数2020 Cyber Ninja CTF 2026 - BLACKOUT：面向法国高中生的全国网络安全竞赛
OTERIA Cyber School 将于 11 月 21-22 日举办第 3 届 Cyber Ninja CTF 2026 - BLACKOUT，面向法国高中生，免费个人参赛。
CTFtime推荐指数1818 EyesOpenCTF 第 7 届：48 小时沉浸式 CTF 竞赛
EyesOpenCTF 2026 作为 EOCON 第 7 届的一部分举办免费 CTF 竞赛，设 40 余道挑战、覆盖 web 漏洞利用、数字取证、逆向工程、二进制利用、密码学、OSINT、AI 安全等 8 个方向。
CTFtime推荐指数4444 StealthCup 2026：以"隐身"为胜的 IT/OT 攻防 CTF
StealthCup 2026 于 10 月 31 日在加拿大魁北克城 Hackfest 举办，这是一场由 AIT 发起、以"规避检测"为核心目标的 CTF 竞赛，最多 12 支队伍在真实 SOC 监控下攻击 IT 与 OT 企业靶场，以最少严重告警达成目标者获胜。
CTFtime推荐指数2525 HI Cyber Con 2026 CTF：48 小时线上赛，设 Human-Led 与 Agentic AI 双赛道
Hidden Investigations 组织的 HI Cyber Con 2026 CTF 是一场 48 小时全程线上、免费参加的 Jeopardy 式国际攻防赛。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数8383 Wiz 报告开源渗透测试 Agent ARTEX 在真实攻击中的自主攻击链
Wiz 研究人员通过访问日志和身份提供方遥测还原出攻击者使用开源渗透测试 Agent ARTEX 的攻击过程，该操作者与 Microsoft 追踪的 Storm-0940 共享基础设施与习惯，目标为 IT 与软件厂商，聚焦 Okta、Entra、Cognito 身份层。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数3838 前沿大语言模型 Asch 从众实验的量化方法
arXiv 论文提出一种量化前沿大语言模型（LLM）Asch 从众效应的方法：对单个问题反复采样，利用 LLM 的概率性生成答案分布，再对比模型面对人为制造的共识前后的分布差异。实验确认前沿 LLM 确实存在从众行为，与既有文献一致，并通过分布对分布比较给出了从众发生条件与程度的量化数据。
arXiv推荐指数5353 MiRL：用错误靶向强化学习纠正终端Agent的错误行为
论文提出 MiRL（Misbehavior-driven RL），先对策略的错误进行画像以找出可泛化的错误行为，再从这些错误发生的步骤开始 rollout 并仅在通过测试且避免错误行为时给予奖励，从而用强化学习纠正终端 Agent 的错误。
arXiv推荐指数5858 论文提出面向前沿AI的全生命周期脆弱性评估框架
arXiv 论文《The Watchtower Imperative》提出对2017-2026年已记录的AI伤害事件进行分析，指出从语音助手危及儿童、AI陪伴应用涉青少年自杀到老年人被自动拒绝护理等事件，共同根源是以隐含的成人用户模型评估系统。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数5252 NPC-RubricBench：基于患者专属评分标准的纵向癌症诊疗大模型评测基准
论文提出NPC-RubricBench，一个以鼻咽癌为疾病场景的阶段感知基准，用于评测大语言模型在癌症诊疗全流程中的多阶段临床推理能力。该基准来自两家癌症中心405名患者的纵向病历，包含6个连续诊疗阶段共941个患者-阶段单元和17,688条患者专属原子评分标准，覆盖5个评测维度，每次评估严格限定在决策时点可得的临床证据。
arXiv推荐指数3838 基于分层强化学习的零信任自适应事件响应框架 ZT-AIR
arXiv 论文提出 ZT-AIR，一个以零信任架构为设计理论、分层强化学习为核心理论的自适应事件响应（IR）框架，将零信任控制编码为动作，分离战略优先级与战术执行，联合优化安全有效性与业务连续性。实验在多种对抗策略、网络规模与防御环境下验证，ZT-AIR 通过频繁且低干扰的干预实现安全与连续性的平衡，从业者评估进一步确认了其实际可行性。
arXiv推荐指数7373 SparseBleed：利用稀疏优化时序侧信道绕过属性推断防御
论文提出首个硬件级属性窃取攻击 SparseBleed，利用稀疏驱动执行路径产生的稳定时序签名作为模型置信度的替代，无需访问梯度、logits、模型权重或功耗轨迹，即可从单次查询高保真推断属性。
arXiv推荐指数5656 ICALL-BENCH：评测 LLM 在二进制程序中的跨过程推理能力
ICALL-BENCH 是一个评测 LLM 与智能体在编译二进制程序中理解并推理跨过程语义能力的基准，以间接调用目标恢复作为可量化探针。它覆盖 50 个真实 C/C++ 程序，平均 74,746 行代码、941 个函数，设置模型纯推理、静态工具增强智能体、联网开放世界智能体三种分析模式，评测 5 个近期 LLM 及其对应智能体。
arXiv推荐指数6262 arXiv 论文提出智能合约合成意图丢失测量方法与先提问架构
论文提出一套基于执行而非主观判断的评测方法，通过在 AI 生成的智能合约与原始合约上重放相同交易并测量一致率，定位需求在智能合约合成中丢失的位置。研究发现常见方法如 AI 评委和标准分析工具会漏掉明显错误，仅检查各系统都包含的函数会掩盖约一半的流水线差异。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 CrossProfile 基准揭示 LLM 群体决策记忆压缩的失效模式
论文提出 CrossProfile 诊断基准，包含 60 个模板与自动校验答案键（共 480 个任务），用于评估 LLM 群体讨论压缩为记忆后对最终决策的影响。
arXiv推荐指数4747 超越答案变化：面向音频证据的同类别匹配对照协议
一项针对音频-语言模型的对照研究提出同类别匹配替换协议，在600个合成声景、两个架构家族共三个模型上测试模型答案对局部声音事件类别变化的响应。结果显示，不同类别替换比同类别替换多产生49.7至60.9个百分点的答案变化，同类别替换后准确率与原始准确率差距保持在5.2个百分点以内。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
arXiv推荐指数7878 研究：42个AI聊天平台中21个向第三方泄露对话标题，9个泄露用户提示词原文
一项即将发表于 IEEE Symposium on Security & Privacy (S&P) 2027 的研究对42个通用及医疗、法律、教育垂直领域的AI聊天平台网页端进行了系统测量，审计其嵌入的第三方分析、广告和会话回放脚本。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
安全paper推荐指数6767 Value Probes 论文：用目标模型激活的线性探针改进束搜索红队审计
arXiv:2610.38526（Jonathan F. Jao、Andrew Kyle Lampinen）将自动化 LLM 红队审计建模为以对话历史为状态、judge 分数为奖励的 MDP，提出用束搜索替代纯 auditor 探索对话分支，并训练 "Value Probes"——目标模型激活上的线性探针预测折扣未来审计奖励作为启发式。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数2929 HIDE：基于文档与证据的 Rustc 缺陷分层隔离方法
HIDE 用分层 LLM 方法为 rustc 缺陷定位可疑源文件，在 160 个可复现 rustc bug 上以 GPT-5.4 取得 42.08% Accuracy@1 和 80.42% Accuracy@10，分别超出最强基线 5.83% 和 6.04%。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
arXiv推荐指数4747 超越 QASecClaw：软件保障中的 Agent 扩展、验证器反馈与证据可靠性
一项涵盖五组实验的软件保障研究（arXiv:2610.36947）使用 Qwen2.5-Coder-7B-Instruct（含 1.5B 敏感性分析）完成 13,638 次模型请求，测试在已有确定性工具证据时增加专家上下文能否提升软件保障。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
arXiv推荐指数5858 IEEE S&P 2027 论文：少步数文生图模型加速与安全存在固有张力，提出 DICE 擦除方法
论文研究少步数蒸馏文生图模型的安全性，发现加速与安全存在固有张力：少步数模型往往比教师模型更不安全，减少推理步数会持续推高不安全生成率，且加速使不安全概念更难被擦除。
arXiv推荐指数4747 硬件恶意软件检测器的故障脆弱性：Silent Blindness 研究
一项 arXiv 研究对硬件恶意软件检测器（HMDs）进行结构故障注入，评估 18 种分类器、4 种计数器预算及 AdaBoost/Bagging 集成下的 453,174 次决策卡滞与参数位翻转事件。