arXiv· Cheng Jin·· 11 天前推荐指数62
REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
Towards Architectural-Level Safety Control: Relocating Hazardous Knowledge into Removable Experts in Mixture-of-Experts Models
AI 导读
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
来源：arXiv · arxiv.org