跳到正文
arXiv· Bin Duan·· 8 天前推荐指数55

VLTest:黑盒测试视觉语言模型图文联合失败的方法

VLTest: Finding Joint Image-Text Failures in Vision-Language Models

AI 导读

论文提出 VLTest,一种针对视觉语言模型(VLM)的黑盒测试方法,通过编辑 VQGAN 潜在编码生成图像变体、用改写-扩展-裁剪流程生成文本变体,并在测试组合前先单独测试每个变异,使每个联合失败都有四个匹配单元格可供归因。

来源:arXiv · arxiv.org