事件追踪追踪中
姚期智团队推出TCSExam评测九个前沿大模型
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,11月9日更新
图灵奖得主姚期智团队联合月之暗面创始人杨植麟等发表署名论文《TCSEXAM:在TCS研究的全范围内评估前沿大型语言模型》,推出TCSExam评测,把定理证明、求解器工程、构造和开放猜想四类任务纳入同一考卷,由Lean内核等机器验算,用于评测九个前沿大模型的理论计算机科学研究能力。 论文同时提醒,这些“超纪录”要经过独立核验,而且评分函数会放大或压缩数值差异,所以还同时报告了原始数学参数。论文还称,未来应该在断网条件下评测当时仍然开放的猜想。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上科学网TCSExam评测九个前沿大模型理论计算机科学能力
阅读这篇报道
全部报道
1 篇,点开看摘要姚期智、杨植麟联合署名论文推出TCSExam,评测9个前沿大模型的理论计算机科学能力
姚期智团队联合杨植麟等发表署名论文《TCSEXAM:在TCS研究的全范围内评估前沿大型语言模型》,推出TCSExam评测,把定理证明、求解器工程、构造和开放猜想四类任务纳入同一考卷,由Lean内核等机器验算。
入选理由论文把理论计算机科学的定理证明、构造、求解器与开放猜想纳入统一评测,研究者可据此判断大模型在哪些数学任务上已能产出可机器核验的结果。
阅读这篇报道