arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 36 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6262 arXiv 论文提出模板化多语言安全对齐数据集 MSafeTemp，覆盖 60 种语言
论文提出基于模板的可扩展增强流水线，从有害提示中提取安全模板、翻译后填入具有文化真实性的实体，生成大规模多语言拒绝与良性语料，并发布覆盖 60 种语言的 MSafeTemp 数据集。实验显示仅用英文评测会误判多语言安全：部分模型在英文失败的攻击翻译后成功，本地化变体还能暴露翻译无法覆盖的失败；模板增强安全训练数据可提升对齐多样性与质量，改善英文以外的安全表现。
arXiv推荐指数6060 ShallowDefend：利用浅层安全对齐构建多轮对话防御框架
论文提出 ShallowDefend，一个 Assess → Decide → Respond 的多轮防御框架，让防御者先评估用户意图、提交可解析的安全决策，再据此生成回复，该决策由强化学习在 payload 轮次训练。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6060 arXiv 论文提出连续风险景观视角以反思 LLM 越狱评测
论文《Rethinking LLM Jailbreak Evaluation: Continuous Risk Landscapes Beyond Binary Outcomes》指出，越狱评测通常沿用二元成功指示的攻击成功率（ASR），掩盖了可能生成的周边结构。
arXiv推荐指数4747 Component Translation and Judge-Labelled Refusal：多语言安全评估中的组件翻译与裁判标注拒绝率
一项多语言安全评估研究提出"组件翻译"配对反转方法，将请求的完整组件或操作组件独立翻译为同一目标语言，在 300 个采样有害行为中保留 190 个，生成英/中/西三语九种配置。
arXiv推荐指数6767 Jailbreak Connectivity 提出连续对抗路径优化以实现多模态大模型可迁移越狱
论文提出名为 Jailbreak Connectivity（JC）的多模态大语言模型视觉越狱框架，基于有效对抗样本可通过图像空间低损失区域相连的观察，优化连续对抗路径：路径采样生成多样化越狱图像，轻量代理分类器引导跨模型迁移，分布级目标实现跨有害查询的通用攻击。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
安全paper推荐指数6767 Value Probes 论文：用目标模型激活的线性探针改进束搜索红队审计
arXiv:2610.38526（Jonathan F. Jao、Andrew Kyle Lampinen）将自动化 LLM 红队审计建模为以对话历史为状态、judge 分数为奖励的 MDP，提出用束搜索替代纯 auditor 探索对话分支，并训练 "Value Probes"——目标模型激活上的线性探针预测折扣未来审计奖励作为启发式。
安全paper推荐指数5959 arXiv 论文提出用连续风险景观替代二元越狱评测指标
arXiv:2610.38595 论文提出用连续、上下文条件化的风险景观替代二元攻击成功率（ASR）来评估 LLM 越狱，通过固定候选首 token 开头并反复采样其续写来估计首 token 分支上的风险分布。该视角区分了当前解码器暴露度与安全改道能力两个互补属性，揭示了看似安全输出下隐藏的高风险分支，并发现针对已知自适应防御最强的攻击在防御生效后不一定仍是最强的。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
安全paper推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
arXiv:2610.36711 提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复是否泄露个人信息，尤其针对间接、部分、上下文相关或混淆的披露场景。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数6060 SpecGuard：基于形式化规约的运行时监控检测多轮 LLM 越狱
arXiv:2610.36258 提出 SpecGuard，一个免训练、规约驱动的多轮 LLM 越狱运行时监控框架。它用固定的原子命题契约把自然语言观察映射为带证据的事实，用 Linear Temporal Logic（LTL）规约描述被禁止的交互模式，并编译为符号有限自动机增量消费对话轨迹；通过的运行会产出可回放的 witness，标明触发的规约、支撑事实与相关对话轮次。
安全paper推荐指数7676 arXiv论文：相同训练配置的语言模型在不同越狱提示上表现分化
arXiv:2610.34074论文指出，即使架构、数据配方和安全后训练完全相同，语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型，各施加相同安全后训练（含2个后训练种子），共150个模型，收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
安全paper推荐指数5555 arXiv论文受控对比LoRA与全参数微调在提示安全分类上的表现
arXiv:2610.33813 论文在匹配的 400M 编码器-解码器模型（Ettin）上受控对比 LoRA 与全参数微调用于提示安全分类，跨三种任务格式、每组最多 15 个随机种子并采用预设分析。
arXiv推荐指数5555 MoST：基于搜索的视觉语言模型模态敏感性测试框架
论文提出 MoST，一个针对视觉语言模型（VLM）的黑盒测试框架，通过比较仅图像、仅文本和联合扰动来刻画模态敏感性，使用多目标搜索选择并组合扰动、调整其严重度，在限制图像与提示词改动幅度的同时寻求预测性能下降。
arXiv推荐指数5555 MIG-COW：基于梯度分解的可迁移 Deepfake 检测器对抗攻击
论文提出对抗攻击框架 MIG-COW，通过动量积分梯度与共识正交分解结合，捕捉异构 CNN 与 ViT 检测器的共性与模型特有漏洞。在 AADD-2025 Challenge 基准上，MIG-COW 白盒攻击成功率达 99.96% 且 SSIM 感知相似度高，显著优于现有基线；但对官方黑盒目标的 ASR 仅为 7.16%，尽管总分最佳，仍凸显迁移性难题。
arXiv推荐指数5757 WildFakeToolBench：基于网络来源图像处理工具评测 AI 生成图像检测器
论文提出 WildFakeToolBench，一个由 220 个公开来源、142 个域名提炼出的 156 个可执行图像处理工具构成的评测集，每个工具保留来源证据并通过语法、执行与输出失真检查，且不使用被测检测器的反馈。
ShortSpan推荐指数7474 研究评测边缘视觉语言模型对抗样本鲁棒性：失败常表现为错误框而非漏检
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现，引入条件攻击成功率cASR指标，仅在模型仍能于灰色遮挡下定位人的图像上计分。
arXiv推荐指数5555 VLTest：黑盒测试视觉语言模型图文联合失败的方法
论文提出 VLTest，一种针对视觉语言模型（VLM）的黑盒测试方法，通过编辑 VQGAN 潜在编码生成图像变体、用改写-扩展-裁剪流程生成文本变体，并在测试组合前先单独测试每个变异，使每个联合失败都有四个匹配单元格可供归因。
arXiv推荐指数6060 DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
安全paper推荐指数4747 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
论文提出 ASR_STEP 指标，在保留二元成功判定的同时惩罚对受害模型的额外调用，以修正标准攻击成功率（ASR）忽略查询次数的问题。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后分数下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 在步数预算下折扣幅度为 3.4–12 个百分点。
安全paper推荐指数4040 面向 LLM 红队演练的预算化攻击调度：静态先验、语义引导与在线反馈的作用
论文将 LLM 越狱红队演练形式化为固定攻击库上的预算化攻击调度问题，在 GPT-5.2 上跨三个受害模型与三种防御设置评估四种调度策略。历史 ASR 先验能提供强初始化，但在防御引发的分布偏移下可靠性下降；语义引导在冷启动阶段稳定提升或持平静态先验调度，在线反馈则在迁移先验失效时尤为有价值。语义引导与在线反馈还能部分弥补历史先验缺失。
arXiv推荐指数4444 超越攻击成功率：面向迭代式 LLM 越狱评估的成本感知指标 ASR_STEP
研究提出 ASR_STEP 指标，在保留二元成功判定的同时对受害模型的额外调用进行惩罚，以弥补传统攻击成功率（ASR）不计重复调用的缺陷。在 JailBreakBench 上对三个模型家族评估显示，GCG 折扣后得分下降 7.0–8.7 个百分点，PAP 保持不变，PAIR 的折扣区间为 3.4–12 个百分点，说明不同迭代策略的“步数”含义不同。