arXiv· Ehsan Saleh·· 8 天前推荐指数64
AfterDeleteBench：审计 LLM Agent 删除后信息残留的评测基准
AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents
AI 导读
论文提出 AfterDeleteBench，用于审计固定权重 LLM Agent 中记忆删除后信息残留问题。实验显示单次查询可从 Qwen2.5-7B-Instruct 中恢复约三分之二被删除的机密，而从未暴露的对照组恢复率为零；即使完整机密字符串缺失、仅剩分存组件，按公开组合规则在 Qwen、Mistral、Phi-3 上精确重建成功率达 62-99%。
来源：arXiv · arxiv.org