arXiv论文:CoT依赖度随模型规模上升,与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链:在已知中间状态的推理链中替换一步为错误但有效的状态,观察最终答案是否随之改变。
论文提出 TopKLoRA,一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体,仅用下游损失训练,使优化压力促使模型学习具功能因果性的隐变量。
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement,在 5 或 9 副本的六种部署中,写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%,只读负载持平。
Foreword 框架通过同时学习通过和失败的参考输入,并用 Jacobian lens(J-lens)表示输入,在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上,其四种表示与估计器组合平均优于 Clotho,失败预测 ROC-AUC 平均提升 0.14、最高 0.31,前 100 个优先输入中失败数平均多 15%、最高 33%。