arXiv论文:CoT依赖度随模型规模上升,与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
论文提出 TopKLoRA,一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体,仅用下游损失训练,使优化压力促使模型学习具功能因果性的隐变量。