arXiv· Gabriele Dominici·· 8 天前推荐指数45
CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
Causal Chain of Thought: Mitigating Attention Leakage via Context Isolation
AI 导读
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
来源：arXiv · arxiv.org