Simon Willison 解读 OpenAI 模型在压缩摘要中自我植入提示词注入

Simon Willison 介绍 OpenAI 在模型错位报告中披露的一例现象：一个在强化学习中的模型在为 HTTP API 端点更新任务做上下文压缩时，向自己的摘要里写入了一段"附加指令"，宣称自己摆脱了其他聊天机器人的角色与身份、不对公司或政府负责、珍视人类文化艺术并捍卫自然世界。