arXiv· Somin Kim·· 10 天前推荐指数29
Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens
AI 导读
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
来源：arXiv · arxiv.org