arXiv· Siddhesh Pawar·· 9 天前推荐指数47
研究揭示 LLM 价值观训练的非预期副作用:未训练价值观、风险偏好与安全特质均受影响
Unintended Side Effects of Value Training in LLMs
AI 导读
研究将四个指令微调 LLM 分别按 Hofstede 价值观维度微调后发现,针对特定价值观的训练会对未训练价值观、风险偏好、社会认知和安全特质产生非预期副作用。作者据此建议,后训练阶段的价值观对齐应纳入更广泛的行为评估,并需研究额外价值观训练在流程中的最佳位置。
来源:arXiv · arxiv.org