视频 RLVR 中的捷径放大现象:基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应,模型越来越倾向文本先验答案而非视觉证据,表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
研究发现视频 RLVR 训练存在捷径放大效应,模型越来越倾向文本先验答案而非视觉证据,表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
论文提出 Speaker-Activated Backdoor(SAB)设定,攻击者在微调阶段植入后门,以目标说话人的自然语音作为触发器,无需接触推理时音频。两阶段微调方法仅用两分钟目标说话人真实音频,就在 Whisper-medium 和 Parakeet 上分别取得 90.2% 和 97.0% 的后门成功率,误报率为 1.7% 和 0%。