Ai2发布StateBench状态追踪基准
事件综述根据 5 篇报道整理，11月4日更新
Ai2 发布 StateBench 基准与数据集，用于评估大语言模型在长文本中追踪状态变化的能力，数据集已在 Hugging Face 开放下载。Ai2 称，包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型在最难、最长的问题上准确率降至 13% 或更低。 StateBench 将状态追踪分为 r-平凡、非周期、可解与一般有限四个层级，覆盖从记住固定信息到在杯子反复交换时追踪球的位置等任务。为判断失败源于架构还是预训练，Ai2 直接在 StateBench 上训练模型并用更长输入评测：混合模型加 Gated DeltaNets 在前三个层级近乎完美，transformer 则随长度增加而退化，且无法解决一般有限问题。上述结果来自 Ai2 自测。
综述由模型根据报道生成，细节以各篇原文为准。
进展时间线
北京时间，最早在上全部报道
5 篇，点开看摘要Ai2 发布 StateBench 基准与数据集，供研究者测试状态追踪模型
Ai2 发布 StateBench，供研究者测试新模型、扩展其工作并构建更好的状态追踪数据。数据集已在 Hugging Face 开放下载，详情见 Ai2 博客。
阅读这篇报道Ai2 测试架构与预训练对 LLM 失败的影响
为测试失败是源于架构还是预训练，我们直接在 StateBench 上训练 LLM，然后用更长的输入对它们进行评估。 混合模型 + Gated DeltaNets 在前 3 个级别上近乎完美；transformer 随长度增加而退化，且无法解决一般有限问题。
阅读这篇报道Ai2 发布 StateBench 评估大模型状态追踪
大语言模型能否在长文本中追踪状态变化——比如一个物体几经转手，或一个变量被重新赋值？ 在我们新推出的 StateBench 评估中，包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型，在最难、最长的问题上准确率降至 13% 或更低。🧵 https://github.com/allenai/state-bench
阅读这篇报道Ai2 推出 StateBench 状态追踪基准
StateBench 将状态追踪分为 4 个层级：r-平凡、非周期、可解与一般有限。 这些层级涵盖从记住固定信息（如生日）到更难的任务（如在杯子反复交换时追踪球的位置）。
阅读这篇报道Ai2 推出 StateBench：测试语言模型如何追踪长文档中的状态变化
Ai2 推出 StateBench，一个用于评估语言模型长上下文状态追踪能力的基准，按变量赋值方式划分为 r-trivial、aperiodic、soluble 和 general finite 四个难度层级。
阅读这篇报道