arXiv· Miao-Miao Yi·· 2 天前推荐指数34
AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
AI 导读
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
来源：arXiv · arxiv.org