arXiv· Huiting Liu·· 8 天前推荐指数55
arXiv论文审计自适应序列模型中的隐藏未来token泄漏
Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
AI 导读
论文研究自适应残差路由解码器中隐藏的未来token泄漏问题：序列级路由摘要使前缀位置在因果注意力掩码正确的情况下仍能访问未来token。一个24层异常检查点将验证损失从基线3.5958降至1.4259，但未通过前缀不变性审计且生成时参考模型困惑度显著升高；层间诊断将违规定位到动态路由查询路径上的全序列摘要广播。
来源：arXiv · arxiv.org