arXiv· Xincheng Xu·· 7 天前推荐指数31
CA-DPSGD:用近似二阶信息缓解 DPSGD 的梯度裁剪偏差
Curvature-Aware Clipping: Mitigating Bias in DPSGD via Approximate Second-Order Information
AI 导读
论文提出 CA-DPSGD 框架,利用近似二阶信息构建曲率感知的最优裁剪空间,并结合曲率矩阵修正估计器与各向异性噪声机制保证差分隐私(DP)保证,实验表明其优于现有最先进裁剪方法。该工作已被第 18 届机器学习优化国际研讨会(OPT 2026)接收。
来源:arXiv · arxiv.org