研究：蛋白质语言模型预训练数据过滤的效果与持久性

研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。