事件追踪已归档
Zyphra提出分层注意力ZHA压缩KV-cache
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,11月7日更新
Zyphra 在一篇新论文中提出 Zyphra Hierarchical Attention(ZHA)注意力方法:把 KV-cache 组织成一棵压缩摘要树,查询时自上而下搜索,以缩小需要关注的 token 范围。 目前公开信息只有该方法的设计思路,论文中的效果数据、对比基线和适用范围尚未在报道中给出。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上alphaXivZyphra提出分层注意力ZHA
阅读这篇报道
全部报道
1 篇,点开看摘要Zyphra 提出 ZHA 分层注意力压缩 KV-cache
Zyphra 新论文提出 Zyphra Hierarchical Attention(ZHA),将 KV-cache 组织成压缩摘要树,查询自上而下搜索以缩小需关注的 token 范围。
阅读这篇报道