arXiv· Sam Kouteili·· 2 天前推荐指数54
DeoGen：面向政策规范推理的自动基准生成器论文
Deogen: Automatic Benchmark Generation for Reasoning over Policies
AI 导读
arXiv 论文提出 DeoGen，一个可扩展、自动、参数化的规范推理（deontic reasoning）基准生成器，通过将政策规则自动形式化为一阶逻辑构建决策树，树的每条路径生成一条评测条目。评测显示前沿模型在有充分信息时正确给出裁决的比例为 89-92%，但在信息不足以支撑裁决的条目上正确率降至 22-40%，即便明确要求模型在此类情况下弃答，表现仍明显下降。
来源：arXiv · arxiv.org