arXiv· Shuncheng Jie·· 9 天前推荐指数26
SAKURA：面向手机端私密图像编辑的注意力 KV 状态带宽自适应缓存架构
SAKURA: Serving Attention Key-Value State Under Rate Adaptation for Private Image Editing on Phones
AI 导读
SAKURA 提出一种云边协同架构，在带宽预算内向移动设备交付可复用的注意力 KV 状态，用于扩散 Transformer（DiT）图像编辑的私密推理。该架构采用 token 重要性感知的细粒度压缩方法，运行时根据网络带宽自适应选择缓存表示，并通过流水线运行时将缓存传输与重建同设备端执行重叠。
来源：arXiv · arxiv.org