Artificial Analysis 发布 Intelligence Index v5
事件综述根据 4 篇报道整理,10月30日更新
Artificial Analysis 发布 Intelligence Index v5,这是自 v4 以来最大的一次基准重构:新增 2 个基准、升级 3 个基准,并首次让 60% 的评测权重建立在私有测试集或隐藏答案之上。该指数仍由九项评测构成,知识工作、编码、科学、通用能力各占 25%;编码项中,Cognition 同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。 该机构同时在 Hugging Face 发布公开子集 AA-Omniscience-Public-v1.1,称已重新校准,使公开集与私有集在准确率、幻觉率和整体表现上保持一致。按该指数,Kimi K3.1 Pro 以 46 分位列开放权重模型首位,但 Artificial Analysis 在报告中标注其权重尚未发布。 v5 还上线了 HLE-Diamond 榜单,评测 CAIS 与 Scale AI 经一年清洗修订的 Humanity's Last Exam 1000 题版本,其中 272 题含图像,推理与知识题各半。Artificial Analysis 称,每道题在无工具条件下只运行一次,使用官方 HLE 系统提示词,由 GPT-5.6 Luna (medium) 按官方 HLE 评判提示词对照参考答案判分,报告判为正确的题目占比(pass@1)。alphaXiv 称,Terminal-Bench-Science 首次进入指数并占总分 15%,科学类权重由 20% 上调至 25%。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上全部报道
4 篇,点开看摘要Artificial Analysis 推出 HLE-Diamond 榜单
Artificial Analysis 在 Intelligence Index v5 中上线 HLE-Diamond 榜单,独立评测 CAIS 与 Scale AI 经一年清洗修订的 Humanity's Last Exam 1000 题版本,其中 272 题含图像,推理与知识题各半。
阅读这篇报道Artificial Analysis 智能指数 v5.0 科学类权重上调
Artificial Analysis Intelligence Index v5.0 发布两天,Terminal-Bench-Science 首次进入指数并占总分 15%,整个"科学"类别权重从 20% 上调至 25%。
阅读这篇报道Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩
Artificial Analysis 发布 Intelligence Index v5,60% 评测权重首次建立在私有测试集或隐藏答案之上,编码项中 Cognition 同日发布的 FrontierCode 2.0 独占 15%。
阅读这篇报道Artificial Analysis 发布 Intelligence Index v5,新增 Terminal-Bench-Science 等科学评测
Artificial Analysis 发布 Intelligence Index v5,这是自 v4 以来最大的一次升级,60% 的评测改用私有测试集或留出答案。
阅读这篇报道