TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA,一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体,仅用下游损失训练,使优化压力促使模型学习具功能因果性的隐变量。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文提出 TopKLoRA,一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体,仅用下游损失训练,使优化压力促使模型学习具功能因果性的隐变量。
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement,在 5 或 9 副本的六种部署中,写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%,只读负载持平。