Right Numbers, Wrong Questions:LLM 在欠明确金融查询上的评测研究
arXiv 论文提出"frame collapse"现象,指出 LLM 金融助手在面对用户未言明的语境(数据口径、产品变体、投资者情况与适用规则)时,会给出数据中真实存在但回答了另一个问题的答案。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
arXiv 论文提出"frame collapse"现象,指出 LLM 金融助手在面对用户未言明的语境(数据口径、产品变体、投资者情况与适用规则)时,会给出数据中真实存在但回答了另一个问题的答案。
研究将 CaseHOLD 扩展出弃权条件(5,314 题中 1,670 题替换正确判决),对比四个 System One 决策模型与六个生成式 LLM:无正确选项时生成式 LLM 仍有 38-86% 强行选一项,最谨慎的决策模型为 30%。