研究指出越狱基准测试的 ASR 高度依赖生成设置与评审方式

论文《Concerns in Benchmarking Jailbreaks》用三种评测流程测试八种攻击对三个开放权重模型的效果，发现低资源语言攻击在关键词匹配下平均 ASR 为 96.0%，而在遵循 StrongREJECT 评分指令的 Qwen3 评审下仅为 2.7%。