arXiv· Rui Li·· 8 天前推荐指数38
SPA:FHE 下门控激活的保结构近似方法
SPA: Structure-Preserving Approximation of Gated Activations under FHE
AI 导读
SPA(Structure-Preserving Approximation)利用 GELU、SiLU、Swish 等激活函数共享的 A(x)=xg(x) 且 g(-x)=1-g(x) 代数结构,保留精确奇分量 x/2、仅对偶残差做 x² 多项式近似,得到无比较算术核。
来源:arXiv · arxiv.org