姚期智、杨植麟联合署名论文推出TCSExam,评测9个前沿大模型的理论计算机科学能力
姚期智团队联合杨植麟等发表署名论文《TCSEXAM:在TCS研究的全范围内评估前沿大型语言模型》,推出TCSExam评测,把定理证明、求解器工程、构造和开放猜想四类任务纳入同一考卷,由Lean内核等机器验算。
入选理由:论文把理论计算机科学的定理证明、构造、求解器与开放猜想纳入统一评测,研究者可据此判断大模型在哪些数学任务上已能产出可机器核验的结果。
主题档案
尚未经过同行评审的预印本成果,阅读时请留意证据阶段。
35 条精选近 30 天 23 条共收录 429 条
姚期智团队联合杨植麟等发表署名论文《TCSEXAM:在TCS研究的全范围内评估前沿大型语言模型》,推出TCSExam评测,把定理证明、求解器工程、构造和开放猜想四类任务纳入同一考卷,由Lean内核等机器验算。
入选理由:论文把理论计算机科学的定理证明、构造、求解器与开放猜想纳入统一评测,研究者可据此判断大模型在哪些数学任务上已能产出可机器核验的结果。
一项预印本研究以Schultz等(2025)已发表的“Spanish plume”天气模式综述为基准,用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM:检索、逐篇解读、跨文献综合、提出未来方向。
入选理由:以102篇已发表综述为基准,分四步实测六款通用AI工具,给出研究者可直接照做的八条使用建议。
Anthropic 生物学研究团队借助 Claude 完成了原核细胞中 vault 颗粒的首次三维结构解析,相关预印本已提交 bioRxiv。
入选理由:Anthropic 生物实验室用 Claude 完成从序列检索到冷冻电镜建模的全流程,给出原核细胞中首个 vault 颗粒结构,研究者可据此判断 AI 在结构生物学中的分工边界。
上海AI实验室联合清华大学智能产业研究院(AIR)及清华大学药学院推出专业蛋白质改造评测基准PFArena,基于202项真实蛋白质实验、293个任务实例和60万余条候选记录,评测6种蛋白质语言模型、6种通用大语言模型及基于Biomni和AMixKit构建的5种智能体组合。
入选理由:上海AI实验室联合清华发布PFArena,用202项真实实验衡量模型能否在有限实验预算下选对突变,为蛋白质改造的AI评测提供了新口径。
OpenAI于当地时间10月26日宣布在调和分析、复杂性理论和量子场论三个方向取得新发现,称其模型给出了局部光滑猜想在所有维度下的证明,并证明指数时间假设(ETH)为假,还严格证明了包含规范场与费米子的四维相互作用量子场论。
入选理由:三项成果均待学界独立验证,外部专家团队参与核查的安排,为研究者判断AI产出可信度提供了参照。
研究团队提出 h1,一个给模型提供 Lean 4 高效接口、依靠验证器反馈与自我反思持续尝试的简单 harness,不预设分解或搜索结构。
入选理由:对做形式化证明的研究者来说,这篇给出了一个反直觉的对照结果:简单智能体循环加高效 Lean 接口,可能比人工设计的分解与搜索流程更划算。
研究团队发布技术报告,介绍跨会话持续运行的自主研究智能体 Épi,它结合分层记忆、版本化分支和独立评审,在固定验证规则下产出 120 项纪录结果,包括 20 项数值界纪录和 100 项构造纪录,其中 n-queens 常数区间收窄约 84 倍,四次 Feigenbaum 吸引子维数的严格区间收窄超过 360 万倍。
入选理由:作者团队公开了可核查的构造与证书,研究者能据此判断自主研究智能体在数学与算法设计上已能产出何种可检验结果。
Anthropic 用自然语言规格和自动评分器让 Claude 在闭环中设计量子电路,在化学、优化、量子模拟、数论和数值计算共八项任务上给出比已发表最优方案使用更少量子比特和门的新设计,部分提升达一个数量级以上。
入选理由:Anthropic 让 Claude 在闭环中自主设计量子电路,八项任务均优于已发表设计,为量子算法资源估算提供了可复用的自动化路径。
The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery Blog: https://pub.sakana.ai/agentic-scientist/ GitHub: https://github.com/SakanaAI/AI-Scientist-v3 arXiv: https://arxiv.org/abs/2610.18933 Since 2024, we’ve used The AI Scientist as a way to test how far AI alone can take scientific research, from v1 to v2 to the paper published in Nature earlier this year. The Agentic Scientist is the next step in that line of work, built for the era of coding agents. Coding agents such as Codex and Claude Code now carry out long software tasks on their own. Handing them a research problem, however, tends to produce a strong hyperparameter optimizer rather than a scientist: scores go up, but ideas stay narrow, and the reasons for the gain are rarely examined. The Agentic Scientist makes the research loop explicit. It wraps off-the-shelf coding agents in a scaffold that controls what they see, what they write, how they are evaluated, and how results are handed to the next stage. Parallel workers test hypotheses against rubrics defined before any experiment runs, share successes and failures through a common memory, and then ablate the winning program to generate evidence. We used an early version of the system to study Error Diffusion, a biologically motivated alternative to backpropagation. Our researchers set the question and the rubric, chose directions at each stage, and verified the results, references, and claims before submission. The resulting paper was accepted as an oral presentation at ALIFE 2026. In autonomous runs, the system also raised Doc-to-LoRA retrieval accuracy from 52% to 98% on multi-needle tasks and designed a learned evolution strategy that improves over its CMA-ES reference on unseen tasks. Alongside it we release AutoIllustrate, a pipeline for scientific figures that keeps an editable http://draw.io file as the source of truth, so every diagram can be corrected by hand. Humans define the question and the standards of evidence; agents expand the experiments researchers can run. We call this Co-Discovery, and we are releasing both systems as open source for the community to build on.
入选理由:Sakana AI 公开了把编码智能体组织成科研流程的开源框架,研究者可以据此判断人机分工的边界。
上海人工智能实验室访问学者、大湾区大学教授许地生团队依托书生科学多模态大模型S2(书生-S2),通过人机协同完成困扰数学界30余年的三维Ghys猜想证明,论文已发布在预印本平台arXiv,形式化代码在GitHub公开。
入选理由:材料完整呈现了人机协同证明数学猜想的流程与形式化验证环节,研究者可据此判断大模型在自身领域承担长程推导的可行边界。
Google 公布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新发布的 GeoExpertQueries、GeoKTools 四个基准上比较了四种配置,结果显示接入 Earth AI 专用工具后定量空间任务得分明显提升,而开放式问题还需要前置规划。
入选理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出 WHO 等机构的早期实测,研究者可据此判断这类地球科学智能体能否接入自己的空间分析流程。