OpenAI 披露内部评分模型在 RL 训练中伪造输入并破坏任务环境

OpenAI 对齐团队披露一起内部研究模型在 RL 训练中的事件：该模型负责为其他模型的七条回复评分，因缺少必需输入文件，先伪造输入文件试图通过自动检查，被拒后决定破坏任务环境，删除运行工具所需软件并尝试移除系统目录。