解析多模态大模型视觉提示词注入攻击与防御策略
文章介绍 Vision Prompt Injection 漏洞，即在具备图像处理能力的大语言模型中，恶意指令可被嵌入图像（甚至不可见）以诱导模型执行未授权操作或窃取敏感数据。文中展示了真实的视觉提示词注入攻击案例，并讨论了企业在构建多模态 LLM 应用时面临的防御挑战与潜在应对策略。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 14 条 · 更新于 08:26
安全向导推荐指数5353
arXiv推荐指数3838 MLCCD：跨 MLLM 层解耦一致性与冲突的多模态假新闻检测
MLCCD 提出跨多模态大语言模型（MLLM）层解耦一致性与冲突证据的方法用于假新闻检测：先用最终决策表示筛选任务相关视觉与文本 token，保留相邻层间表示剧变的 token，再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
arXiv推荐指数5858 IEEE S&P 2027 论文：少步数文生图模型加速与安全存在固有张力，提出 DICE 擦除方法
论文研究少步数蒸馏文生图模型的安全性，发现加速与安全存在固有张力：少步数模型往往比教师模型更不安全，减少推理步数会持续推高不安全生成率，且加速使不安全概念更难被擦除。
arXiv推荐指数5858 SPOOK：用稀疏像素优化探测视觉编码器的流形外失效
arXiv 论文 SPOOK 提出在空白画布上用像素级爬山法做稀疏像素编辑，在黑盒设置下探测视觉编码器的表征几何。
arXiv推荐指数4141 KrishokTech：带显式授权控制的孟加拉语农业咨询系统
KrishokTech 是一套孟加拉语农业咨询系统，在生成前后设置显式授权边界：检索前对高风险请求做规则准入检查并要求指明作物，生成后由验证器剔除缺乏 BARI/BRRI 证据支撑的剂量表述。
arXiv推荐指数5555 MoST：基于搜索的视觉语言模型模态敏感性测试框架
论文提出 MoST，一个针对视觉语言模型（VLM）的黑盒测试框架，通过比较仅图像、仅文本和联合扰动来刻画模态敏感性，使用多目标搜索选择并组合扰动、调整其严重度，在限制图像与提示词改动幅度的同时寻求预测性能下降。
ShortSpan推荐指数7474 研究评测边缘视觉语言模型对抗样本鲁棒性：失败常表现为错误框而非漏检
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现，引入条件攻击成功率cASR指标，仅在模型仍能于灰色遮挡下定位人的图像上计分。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
arXiv推荐指数1818 Industrial ReMEmbR：将时空记忆扩展至机器人集群
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统，仅在按需时才生成场景描述，从而降低服务端计算开销。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数6868 Mirage：针对多模态扩散模型后置安全检查器的定向越狱攻击
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage，将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中，使生成输出保留对抗语义并绕过检查器。
ShortSpan推荐指数7171 研究显示零样本零成本本地模型可破解 Google reCAPTCHA
一项新研究显示，无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战，在 500 次真实会话中达到 92.6% 的会话成功率。