arXiv 论文诊断语言模型跨文字实体匹配失败:Qwen2.5-7B 在马拉地语提示下天城文同人识别准确率降至 8.5%
论文用 601 组经审计、含天城文与拉丁文写法的身份对,在问题与关系固定条件下研究多语言模型对同一人名不同文字写法的判断差异。Qwen2.5-7B 在马拉地语提示下同人准确率从拉丁文的 35.1% 降至天城文的 8.5%,而异人准确率保持在 98% 以上;在 374 组马拉拉姆语身份对上复现该效应,同人准确率降至 5.3%,但 AUROC 仍达 0.925。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文用 601 组经审计、含天城文与拉丁文写法的身份对,在问题与关系固定条件下研究多语言模型对同一人名不同文字写法的判断差异。Qwen2.5-7B 在马拉地语提示下同人准确率从拉丁文的 35.1% 降至天城文的 8.5%,而异人准确率保持在 98% 以上;在 374 组马拉拉姆语身份对上复现该效应,同人准确率降至 5.3%,但 AUROC 仍达 0.925。
arXiv:2610.29555 提出 Weighted Refusal Direction Optimization(WRDO),通过学习聚合权重,将多个逐 prompt 的残差流拒绝方向组合成复合方向,替代传统的有害与无害提示均值差向量。
论文构建了覆盖四个领域、2,304 条提示词的基准,用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型,发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
研究者构建覆盖四种编程语言、十类加密 API 误用类别的 48,000 对匹配程序,发现修复向量按误用类别而非语言聚类,并提出 CrypSteer——在模型权重不变的情况下,于生成时向内部激活加入每个模型一条共享方向,使目标安全率在五种模型上较未引导生成提升 5.28–15.00 个百分点。