arXiv· Xiaoning Ren·· 21 小时前推荐指数49
Neuron Coverage Criteria 在大语言模型测试中的有效性研究
Unraveling the Efficacy of Neuron Coverage Criteria on Testing Large Language Models
AI 导读
一项发表于 ACM TOSEM 的研究评估了六种神经元覆盖准则在 Transformer 大语言模型测试中的效果，发现其对对抗错误的揭示能力有限：错误样本仅比噪声样本多提供 0.32% 覆盖率，纳入覆盖引导仅使对抗样本产出增加 4.56%。但覆盖准则在 33 个配置中的 26 和 30 个里有效评估了分布多样性与样本公平性，更适合衡量多样性而非揭示对抗错误。
来源：arXiv · arxiv.org