事件追踪已归档
H-CDLM联合去噪提升扩散语言模型生成质量
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,10月23日更新
alphaXiv 介绍了一种名为 H-CDLM 的分层连续扩散语言模型:它在去噪时同时重建 token 和 token 所属的粗粒度语义聚类,让高层语义信息引导 token 重建,以缓解连续扩散语言模型难以从噪声表示恢复精确 token 的问题。 据 alphaXiv 介绍,将该方法应用于 CoBit 后,LM1B 上文本生成质量提升 33%,OpenWebText 上提升 29%,GSM8K 数学准确率从 25.4% 升至 27.4%,去噪步数减半。上述结果来自论文报告,尚待独立验证。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上alphaXivH-CDLM联合去噪提升扩散语言模型生成质量
阅读这篇报道
全部报道
1 篇,点开看摘要H-CDLM:分层连续扩散语言模型提升文本生成
H-CDLM 通过联合去噪 token 与其粗粒度语义聚类,让高层信息引导 token 重建,缓解连续扩散语言模型难以从噪声表示恢复精确 token 的问题。应用于 CoBit 后,在 LM1B 上文本生成质量提升 33%、OpenWebText 上提升 29%,GSM8K 数学准确率从 25.4% 升至 27.4%,且去噪步数减半。
阅读这篇报道