Ai2 发布 StateBench 评估大模型状态追踪
Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?
摘要
大语言模型能否在长文本中追踪状态变化——比如一个物体几经转手，或一个变量被重新赋值？ 在我们新推出的 StateBench 评估中，包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型，在最难、最长的问题上准确率降至 13% 或更低。🧵 https://github.com/allenai/state-bench
摘要由模型根据原文撰写，以原文为准。
正文 · 原文
Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?
On our new StateBench eval, frontier models including GPT-6 Sol & Claude Opus 5.5 fell to 13% accuracy or lower on the hardest, longest problems. 🧵
来源：Ai2 · x.com
引用原文
allen_ai. Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?[EB/OL]. (2026-11-04)[访问日期]. https://x.com/allen_ai/status/2117670295339171994.