Soft-MTP改进多token预测训练

事件综述根据 1 篇报道整理，11月3日更新

alphaXiv介绍的一篇论文称，多Token预测（MTP）训练中约80%的梯度来自干扰学习的噪声成分。论文提出Soft-MTP去除这部分噪声梯度，改为让MTP头匹配模型自身的下一Token预测，仅需一行代码，不增加参数或可测训练开销。 在167M至1.2B参数模型上，Soft-MTP提升了困惑度、下游准确率和投机解码速度；1.2B模型HumanEval Pass@64从40.85%升至43.90%，投机解码比标准MTP快约1.5%。上述结果来自该论文，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。