arXiv· Marek Masiak·· 7 天前推荐指数62
TopKLoRA 可解释稀疏微调实现忠实电路发现
Interpretable sparse fine-tuning with TopKLoRA enables faithful circuit discovery
AI 导读
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
来源：arXiv · arxiv.org