跳到正文
arXiv· Rui Li·· 8 天前推荐指数38

SPA:FHE 下门控激活的保结构近似方法

SPA: Structure-Preserving Approximation of Gated Activations under FHE

AI 导读

SPA(Structure-Preserving Approximation)利用 GELU、SiLU、Swish 等激活函数共享的 A(x)=xg(x) 且 g(-x)=1-g(x) 代数结构,保留精确奇分量 x/2、仅对偶残差做 x² 多项式近似,得到无比较算术核。

来源:arXiv · arxiv.org