arXiv论文:CoT依赖度随模型规模上升,与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
论文提出 TopKLoRA,一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体,仅用下游损失训练,使优化压力促使模型学习具功能因果性的隐变量。
arXiv 论文指出,Natural Language Autoencoders(NLA)以"verbalizer 将激活转为英文解释、reconstructor 再将解释还原为激活"的往返重建成功作为解释有效判据,但该判据只衡量信息是否足以识别激活,并不检验解释的描述忠实性。