事件追踪已归档
Linear Depth Memory 降低语言模型困惑度
首次报道 最新进展 1 篇报道，1 个来源
事件综述根据 1 篇报道整理，10月22日更新
alphaXiv 介绍的一篇论文提出 Linear Depth Memory（LDM）：用递归最小二乘法在 Transformer 各层之间维护固定大小的记忆，替代随深度增长的注意力残差存储。 在 400M 和 1.5B 模型上，LDM 的困惑度低于标准残差、mHC 和 AttnRes，零样本准确率具竞争力；配合优化内核时吞吐相当。上述结果来自该论文，尚未见独立复现。
综述由模型根据报道生成，细节以各篇原文为准。
进展时间线
北京时间，最早在上alphaXivLinear Depth Memory 提升语言模型困惑度
阅读这篇报道
全部报道
1 篇，点开看摘要Linear Depth Memory：固定大小跨层记忆提升Transformer困惑度
Linear Depth Memory（LDM）用递归最小二乘法在Transformer各层间维护固定大小的记忆，替代随深度增长的注意力残差存储。在400M和1.5B模型上，LDM的困惑度低于标准残差、mHC和AttnRes，零样本准确率具竞争力，配合优化内核吞吐相当。
阅读这篇报道