arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 241 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
arXiv推荐指数6666 arXiv论文系统重评66种LLM代码质量提升技术，多数增益不及best-of-n基线
论文对628项研究（2021年7月至2026年10月）做系统综述，并在等算力预算下对10种技术、4个模型及后续扩展到13个模型和仓库级任务进行受控重评，在 Gemma 4 31B 上对66种技术做头对头比较。
arXiv推荐指数5858 DeepDiff：面向安全补丁验证的神经-动态回归自由性检查
论文提出 DeepDiff，一种对 AI 生成的安全补丁进行回归自由性检查的技术，通过覆盖受影响代码路径的非崩溃输入，将候选补丁与原始含漏洞程序做差分评估，判断补丁在消除触发崩溃的漏洞同时是否保持预期行为。
arXiv推荐指数5858 Soei：面向多智能体软件工程的证据与意图结构化可观测性研究
该论文提出 Soei（Structured Observability of Evidence and Intent），针对多智能体编码Agent的长时程软件工作，研究证据与意图的结构化可观测性。
arXiv推荐指数4949 Neuron Coverage Criteria 在大语言模型测试中的有效性研究
一项发表于 ACM TOSEM 的研究评估了六种神经元覆盖准则在 Transformer 大语言模型测试中的效果，发现其对对抗错误的揭示能力有限：错误样本仅比噪声样本多提供 0.32% 覆盖率，纳入覆盖引导仅使对抗样本产出增加 4.56%。但覆盖准则在 33 个配置中的 26 和 30 个里有效评估了分布多样性与样本公平性，更适合衡量多样性而非揭示对抗错误。
arXiv推荐指数6767 arXiv 论文审计恶意软件图像分类基准中的重复与泄漏问题
论文对十个将恶意软件二进制渲染为图像的分类基准进行审计，测试近重复图像与训练-测试泄漏，并在朴素与内容感知切分下重新训练标准分类器。结果显示按文件哈希去重无法阻止泄漏，因为不同二进制可渲染为相同图像；按图像内容去重使 top-1 准确率最多下降 8 个点、macro-F1 最多下降 15 个点。
arXiv推荐指数4545 ARBITRA：基于多专家论证的鲁棒文档级 MITRE ATT&CK 提取
ARBITRA 通过多个角色专精的 LLM 专家从完整 CTI 报告中提出候选 MITRE ATT&CK 实体，并用基于文档证据与理由的逐候选量化双极论证框架（QBAF）进行验证，在 ATT&CK 提取基准上取得比句子级流水线、近期 LLM 提取系统及 GPT-5.5 等前沿模型更强的精确率导向工作点。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6060 InferD：面向 AI 推理基础设施的蜜罐框架论文（AISec Workshop '26 / ACM CCS 2026）
论文提出 InferD，一个面向 AI 推理基础设施的低交互蜜罐框架，被 AISec Workshop '26（ACM CCS 2026，海牙）接收。作者指出大语言模型服务栈、商用推理 API、向量数据库和 Agent 编排网关部署后数小时内即被通用扫描器暴露在公网，而现有蜜罐框架面向传统网络服务，无法测量该攻击面。
arXiv推荐指数6767 arXiv 论文：基于惊讶度的持续学习易吸收谎言，证据门控可缓解
论文研究 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B、Llama-3.2-3B）从真假声明流中持续学习时的问题，发现基于惊讶度的筛选规则会吸收几乎全部植入的谎言，吸收率接近同等预算下的随机选择。
arXiv推荐指数4444 整合感知、理解与预测的告警验证：统一网络态势感知框架
一项系统评估首次在统一告警验证框架中比较感知级、理解级与预测级网络态势感知（CSA），将告警验证建模为基于 CSA 行为假设的 PU-MIL 任务。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数4747 ExploreRepair：信息受限下基于探索智能体的漏洞修复框架
ExploreRepair 提出由多个探索智能体分别考察漏洞不同维度、再经 Lesson Aggregator、Patch Aggregator 与最终 Aggregator 逐级调和的漏洞修复框架，在无 benchmark 反馈条件下完成修复。
arXiv推荐指数6767 NeurIPS 2026 论文提出 Prefix Executability 协议评估工具使用 Agent 的轨迹可执行性
arXiv 论文《Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success》（已被 NeurIPS 2026 接收）提出前缀可执行性（prefix executability）轨迹级评测协议。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数4444 DYNAS：基于深度分层强化学习的动态网络渗透测试框架
DYNAS（Dynamic Network Attack Simulator）框架结合参数化大规模场景生成与有状态入侵检测响应，引入 Pen-DHRL 循环 manager–worker 策略，在 NSS 2026 被接收。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数6262 扩散模型成员推断攻击的跨时间难度校准方法
arXiv 论文提出沿训练时间和扩散时间两个维度做难度校准，以改进扩散模型的成员推断攻击（MIA）。
arXiv推荐指数5656 arXiv论文研究编码智能体在演进既有代码时遵循先例还是任务指令
论文通过在定制仓库中进行双向受控实验并结合真实开源仓库验证，研究当既有代码先例与新任务指令冲突时，编码智能体如何在默认偏好、仓库先例和显式任务指令之间做选择。实验覆盖四个编码智能体、六组实现对，共5,625次试验，并在三种编程语言的四个开源仓库中验证。
arXiv推荐指数3838 MetaReJ：基于蜕变测试检测 LLM 自动程序修复中的错误解释
MetaReJ 提出首个基于蜕变测试（metamorphic testing）的检测方法，用于识别 LLM 自动程序修复（APR）系统生成的错误解释，无需外部验证器。
arXiv推荐指数3838 DIFUZZI：基于 LLM 的差分模糊测试工具，用于代码功能相似性评估
DIFUZZI 是一款差分模糊测试工具，通过引入基于 LLM 的输入生成器合成步骤（迭代验证与修复），自动化构建适配目标程序对的输入生成器，从而降低差分模糊测试的应用门槛。该工具已开源发布，并附有演示视频。
arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数6767 Tracekit Box 论文：在 Firecracker micro-VM 中运行 AI Agent 并对每次出口决策签名
arXiv 论文提出 Tracekit Box，一个 MIT 许可的开源系统（v0），让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡，所有出口（命令、外连、密钥、模型调用、工作区补丁）都经 vsock 走宿主机上的签名器，由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
arXiv推荐指数6060 arXiv 论文提出连续风险景观视角以反思 LLM 越狱评测
论文《Rethinking LLM Jailbreak Evaluation: Continuous Risk Landscapes Beyond Binary Outcomes》指出，越狱评测通常沿用二元成功指示的攻击成功率（ASR），掩盖了可能生成的周边结构。
arXiv推荐指数4343 GI-RTL-Fuzz：基于 LLM 与 BNF 语法引导的 RTL 模拟器差分模糊测试框架
GI-RTL-Fuzz 是一个利用大语言模型（LLM）生成高质量 RTL 测试用例的语法引导模糊测试框架，通过 Backus-Naur Form（BNF）语法覆盖信息引导 LLM 生成过程，探索复杂且少被测试的语言特性。该框架对不同 RTL 模拟器进行差分测试，在主流 Verilog 模拟器的 linting 过程和仿真结果中发现了大量此前未知的不一致问题。
arXiv推荐指数5858 arXiv 论文揭示 LLM Agent 修复评估器与执行者不匹配导致部署价值损失
论文《Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents》研究 LLM Agent 修复方法中评估器选出的修复是否真正帮助实际执行的智能体。
arXiv推荐指数6767 arXiv论文研究编码智能体记忆文件的安全影响
论文研究了编码智能体自动加载的项目记忆文件作为攻击面的风险：攻击者可通过pull request修改记忆文件，在不接触开发者prompt的情况下引导智能体生成通过测试但存在漏洞的代码。
arXiv推荐指数6868 WebMaze：以功能耦合诱饵将 LLM Web 扫描器引入诱饵世界
arXiv 论文提出 WebMaze 防御方法，在不改变真实应用功能的前提下，将基于 LLM 的恶意 Web 扫描器引向生成的诱饵世界。作者系统研究了六个 LLM 扫描器如何收集信息并基于观察迭代选择动作，在真实页面中嵌入功能耦合陷阱，并从应用现有视图构建视图定制的交互式诱饵世界。
arXiv推荐指数4747 DRL 交通信号控制的最小信息黑盒虚假报告攻击
研究表明，对基于深度强化学习（DRL）的交通信号控制器，一个无法访问模型、仅能观测自身进口道的黑盒攻击者，通过训练模仿代理模型并构造有界虚假 V2I 报告，即可显著增加其他进口道的平均等待时间，而自身等待时间几乎不变，将额外延误外部化给其他方向。
arXiv推荐指数6262 arXiv论文提出溯源优先的审计方法，分析AI研究智能体论文中的数值误归属
论文重新分析了一个公开AI研究智能体基准的540份判定结果，并人工标注18篇投稿中的256条数值主张，发现失败主要集中在论文与底层工作之间的对齐问题，约五分之四的无支撑主张对应智能体自身文件中来自错误实验、指标或运行的数值。
arXiv推荐指数7878 Snyk VulnBench 2.0 论文对比确定性 SAST 与 AI 安全 Agent 的代码漏洞检出分工
Liran Tal 等发布 VulnBench 2.0 基准，包含 20 个开源 Web 应用中 108 个人工整理的攻击者可达漏洞（Go、JavaScript/TypeScript、Python、Java），其中 62 个跨文件，判定标准要求同时定位攻击者可控 source 与危险 sink 且各在两行内。
arXiv推荐指数6262 arXiv论文：在真实工业装置与仿真器上评测11个异常检测器的安全扰动检测能力
论文在仿真化工流程与钠热工水力实验装置上评测了11个异常检测器（覆盖经典、神经、依赖与因果四类），扰动依据威胁模型构造而非原生故障，并在声明的误报预算下读取检测结果。
arXiv推荐指数7878 CARI：编码智能体工作流中的跨边界对抗性运行时注入研究
arXiv 论文提出 Cross-Boundary Adversarial Runtime Injection（CARI）攻击设置：在多方协作的编码智能体工作流中，恶意或被攻陷的对等开发组件（如后端服务、测试框架、CI 任务）可在其运行时反馈中暗藏指令，诱导受害方智能体执行越权操作。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。