alphaXiv 推介潜在反馈 Transformer 论文

事件综述根据 1 篇报道整理，11月15日更新

alphaXiv 推介了一篇重新审视 Latent Feedback Transformers 的论文。该架构把每个 token 的最终隐藏状态输入下一个 token，让模型在相邻位置间复用信息。alphaXiv 称，在 60M 至 778M 参数模型上，匹配验证损失时最多可节省 48% 训练算力或 41% 独立训练数据；论文新提出的缩放定律在留出的 778M 模型上预测误差在 0.3% 以内。上述效率数据来自论文作者，尚待独立验证。

综述由模型根据报道生成，细节以各篇原文为准。