跳到正文
arXiv· Haozheng Liu·· 3 天前推荐指数60

Decision Models 作为幻觉检测裁判的评测研究

Decision Models as Judges for Hallucination Detection

AI 导读

论文构建了覆盖五种幻觉类型的二元基准(9,852 条样本,来自六个数据集),将五个决策模型与生成式裁判 gpt-6-sol 对比。结果显示表现强依赖类型:最佳决策模型在上下文不一致任务上平衡准确率追平 gpt-6-sol,事实错误上差距在 3 个百分点内,但在逻辑与指令不一致上落后 4-8 个百分点。

来源:arXiv · arxiv.org