arXiv· Shenglong Yao·· 3 天前推荐指数56
ICALL-BENCH:评测 LLM 在二进制程序中的跨过程推理能力
ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs
AI 导读
ICALL-BENCH 是一个评测 LLM 与智能体在编译二进制程序中理解并推理跨过程语义能力的基准,以间接调用目标恢复作为可量化探针。它覆盖 50 个真实 C/C++ 程序,平均 74,746 行代码、941 个函数,设置模型纯推理、静态工具增强智能体、联网开放世界智能体三种分析模式,评测 5 个近期 LLM 及其对应智能体。
来源:arXiv · arxiv.org