arXiv· Qingyue Wang·· 9 天前推荐指数44
CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing
AI 导读
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
来源：arXiv · arxiv.org