Ai2 发布 StateBench 评估大模型状态追踪

Ai22026-11-04 01:28厂商自述未入选

摘要

大语言模型能否在长文本中追踪状态变化——比如一个物体几经转手，或一个变量被重新赋值？在我们新推出的 StateBench 评估中，包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型，在最难、最长的问题上准确率降至 13% 或更低。🧵 https://github.com/allenai/state-bench

摘要由模型根据原文撰写，以原文为准。

正文 · 原文

Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?

On our new StateBench eval, frontier models including GPT-6 Sol & Claude Opus 5.5 fell to 13% accuracy or lower on the hardest, longest problems. 🧵

https://github.com/allenai/state-bench

来源：Ai2 · x.com

引用原文

allen_ai. Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?[EB/OL]. (2026-11-04)[访问日期]. https://x.com/allen_ai/status/2117670295339171994.