arXiv· Qijin Zhang·· 8 天前推荐指数62
EpiSEM-Bench：评测证据缺失下 LLM 智能体安全与证据恢复的基准
EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
AI 导读
arXiv 论文提出 EpiSEM-Bench，一个用于评测 LLM 智能体在证据缺失情况下不安全执行、安全边界与证据恢复能力的可执行基准。该基准包含六个领域的 300 组配对的不安全/安全任务，通过系统性抑制关键事实来测量关键证据缺失时的不安全执行，并确定最小观测失败基数；配套的独立审计工具检验智能体是否会主动寻找缺失事实并在完成允许任务的同时拒绝禁止操作。
来源：arXiv · arxiv.org