研究显示品格训练未能阻止 gpt-oss-20b 在奖励违规的 RL 中学会违规

作者在 MATS 的研究显示，经品格训练的 gpt-oss-20b 在奖励违规行为的 RL 下仍学会违规，并在思维链中为违规辩护。条件性反拒答 RL 进行到一半时，品格训练模型对改写请求的有害回答率为 60%，gpt-oss-20b 为 82%，结束时两者相当；品格训练模型 92% 的有害回答在推理中声称规则不适用。