arXiv· Saket Reddy·· 3 天前推荐指数72
SimpleLoRIF 用梯度归因定位致害微调数据并构建 SafeTulu
Follow the Gradient: Tracing Safety Degradation Back to Training Data
AI 导读
论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别与不安全行为梯度对齐的微调样本；通过简化低秩归因并将反向传播限制在最后四个 transformer 块，可处理百万级样本。
来源：arXiv · arxiv.org