跳到正文
arXiv· Shenglong Yao·· 3 天前推荐指数56

ICALL-BENCH:评测 LLM 在二进制程序中的跨过程推理能力

ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs

AI 导读

ICALL-BENCH 是一个评测 LLM 与智能体在编译二进制程序中理解并推理跨过程语义能力的基准,以间接调用目标恢复作为可量化探针。它覆盖 50 个真实 C/C++ 程序,平均 74,746 行代码、941 个函数,设置模型纯推理、静态工具增强智能体、联网开放世界智能体三种分析模式,评测 5 个近期 LLM 及其对应智能体。

来源:arXiv · arxiv.org