跳到正文
事件追踪已归档

alphaXiv介绍LSA稀疏注意力加速方法

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,11月7日更新

alphaXiv在X上介绍论文提出的 Latent Sparse Attention(LSA)方法:它把相似 token 聚类并组织成可搜索的层级结构,使查询无需扫描整个上下文即可定位相关信息。 据 alphaXiv 介绍,在 10M token 上下文下,LSA 单层注意力的 prefill 比 GLM-5.3-Flash 原稀疏注意力快 22.7 倍、解码快 4.6 倍,且准确率相近。上述数据来自论文方,尚属其自述结果。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. alphaXivalphaXiv介绍Latent Sparse Attention论文

    阅读这篇报道

全部报道

1 篇,点开看摘要
LSA:超长上下文稀疏注意力加速新方法alphaXiv预印本未入选

论文提出 Latent Sparse Attention(LSA),将相似 token 聚类并组织成可搜索的层级结构,使查询无需扫描整个上下文即可定位相关信息。在 10M token 上下文下,LSA 单层注意力的 prefill 比 GLM-5.3-Flash 原稀疏注意力快 22.7 倍、解码快 4.6 倍,且准确率相近。

阅读这篇报道