alphaXiv介绍循环Transformer架构研究

事件综述根据 1 篇报道整理，10月31日更新

alphaXiv在X上介绍了一篇关于循环Transformer架构的论文。论文比较不同循环方式后发现，仅循环Transformer中间层优于反复循环整个模型；Huginn式设计（在独立输入输出层之间放置循环层）整体表现更好，尤其在推理任务上。 在8B参数规模下，Huginn MoE在10项基准中8项超过Ouro，存储参数比算力匹配的32B前馈MoE少75%，GSM8K准确率为83.6%，Ouro为80.8%。上述结果出自该论文，alphaXiv仅作介绍。

综述由模型根据报道生成，细节以各篇原文为准。