arXiv· Nabeelah Faumi·· 3 天前推荐指数53
GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：IOI 电路坍缩而 Greater-Than 电路存活
What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
AI 导读
arXiv 论文 arXiv:2610.37157 用 linear CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和 activation patching 对比 GPT-2 与其六层学生模型 DistilGPT-2 在两个经典电路上的机制差异。
来源：arXiv · arxiv.org