论文称修复softmax与交叉熵数值缺陷

事件综述根据 1 篇报道整理，10月24日更新

alphaXiv推介的一篇论文指出，softmax 和交叉熵存在数值缺陷：极小梯度会被错误地舍入为零，或本应消失却保持非零，进而引发损失突增并干扰知识蒸馏。作者提出简单修复，称在小规模 grokking 基准上消除了 Slingshot 损失尖峰，某设置下测试准确率从 94.3% 提升至 100%，且无需更高数值精度即可防止蒸馏中学生模型偏离教师模型。上述效果为论文作者所述，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。