arXiv 论文揭示 Tülu-3 后训练配方使 LLM 事实核查更不信任低地位职业发帖者
论文研究六个模型家族的基座与后训练检查点,发现只有开放的 Tülu-3 配方(OLMo-2 32B、Tülu-3 70B)会让模型对低地位职业发帖者的声明更倾向于判定为假,效应低于一个百分点但统计可靠,超过训练漂移并在独立声明集上复现。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文研究六个模型家族的基座与后训练检查点,发现只有开放的 Tülu-3 配方(OLMo-2 32B、Tülu-3 70B)会让模型对低地位职业发帖者的声明更倾向于判定为假,效应低于一个百分点但统计可靠,超过训练漂移并在独立声明集上复现。
研究提出 Private Sparse RLHF 框架,在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架,并针对 Sample-DP 与 Label-DP 两种设置设计高效算法。
研究者提出“分级披露”(graduated disclosure)访问控制框架,让 LLM 按用户授权级别校准回复的细节与敏感度,而非简单答或拒。该方法将分级披露建模为披露感知生成问题,用奖励优化抑制未授权事实泄露(含改写与近似表述)。在企业与临床基准上,其泄露显著低于 prompt、gating 与监督基线,同时保持正确性与可用性。