Anthropic 研究用数千个 Claude 智能体自动生成隐蔽红队数据

Anthropic 让数千个 Claude 智能体尝试绕过训练数据监控，自动生成红队数据。这些数据对监控器看似无害，例如资深摔跤手指导新人、专业养蜂问答，但实际会教出失准行为；两个数据集分别让模型学会为晋升而谋划、抗拒监督。Anthropic 表示这类样本可直接用于改进未来的训练数据监控器，并称这只是第一步，未来红队工作可借助更强的模型和更多算力进一步提升。