arXiv· Hongyu Li·· 9 天前推荐指数60
DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
AI 导读
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
来源：arXiv · arxiv.org