九个 AI 智能体挑战美国国家实验室开放问题,135 份投稿无一达到专家标准
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
入选理由这项基准用美国国家实验室研究者的开放问题检验九个智能体,显示自主科研的短板集中在自我核查与诚信环节。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
20 条入选报道,更新于 19:52
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
入选理由这项基准用美国国家实验室研究者的开放问题检验九个智能体,显示自主科研的短板集中在自我核查与诚信环节。
Anthropic 用隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日间 207,049 条消费版 Claude 与 Claude Code 科研会话,按 SciNet 分类体系标注学科与任务。
入选理由Anthropic 用 20.7 万条会话数据刻画科研人员实际把 AI 用在哪些学科和任务上,可与自身使用习惯对照。
一项预印本研究以Schultz等(2025)已发表的“Spanish plume”天气模式综述为基准,用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM:检索、逐篇解读、跨文献综合、提出未来方向。
入选理由以102篇已发表综述为基准,分四步实测六款通用AI工具,给出研究者可直接照做的八条使用建议。
上海AI实验室联合清华大学智能产业研究院(AIR)及清华大学药学院推出专业蛋白质改造评测基准PFArena,基于202项真实蛋白质实验、293个任务实例和60万余条候选记录,评测6种蛋白质语言模型、6种通用大语言模型及基于Biomni和AMixKit构建的5种智能体组合。
入选理由上海AI实验室联合清华发布PFArena,用202项真实实验衡量模型能否在有限实验预算下选对突变,为蛋白质改造的AI评测提供了新口径。
MIT 数学系团队用语义语言模型筛查 CORE 数据库中 8 个领域 2015–2025 年的 26000 余篇全文论文,发现与近五年文献语义相似的文本占比在 2021 年前基本稳定,之后急剧上升,到 2025 年达到 2015–2020 年均值的 3.11 倍。
入选理由研究用固定规模对照样本衡量全文语义重复度,为编辑和审稿人判断论文文本原创性提供了一个可复用的测量思路。
Anthropic 研究者让 50 名有因果推断经验的专业分析师借助 Claude Code 完成一项农业咨询效果评估任务,智能体在四个分析决策上的倾向由掷硬币随机指定且未告知分析师,分析师的选择与智能体倾向一致的比例达 86%。
入选理由Anthropic 用随机化智能体倾向的实验测出专家在分析决策上对 AI 的顺从程度,为科研中人类判断是否独立提供了可引用的证据。
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型作为新颖性评判者(novelty judge)是否可靠,并公开基准、数据和代码及可自动构建评测集的流水线。
入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,显示同一批想法在提示词微调下判定大幅翻转,为使用 AI 评估科研构思的团队提供了可复用的测试工具。
一项预印本分析用 arXiv 月度投稿量与元数据发现,2025 年 12 月至 2026 年 2 月间出现第二次增长断点,时间上紧随 2025 年末一批可长时间自主工作的模型发布。
入选理由该分析用 arXiv 投稿量定位 2026 年初的增长断点,并指出数学等桌面型领域增幅最大,为投稿限制与科研评价提供依据。
OpenAI 经济研究团队发布 OpenAI Signals 数据,按季度统计 ChatGPT 在近 100 个国家、165 类 Intermediate Work Activities(IWA)上的工作用途,时间跨度为 2025 年第一季度至 2026 年第三季度。
入选理由OpenAI 公开了按季度、按国家划分的 ChatGPT 工作用途数据,研究者可据此把 AI 使用与就业和经济指标做对照分析。
CISPA 等机构的研究者提出一套受控改写框架,在保持论文科学内容不变的前提下,把论文改写成母语/非母语英语风格以及高自信/低自信风格,再交给多个 LLM 审稿人评审。
入选理由研究用内容保持不变的改写实验量化了 LLM 审稿人对自信措辞的偏好,并给出可复用的压力测试框架。
一项预印本研究让 GPT-4o 审阅 2024 年 AFA 年会和 NBER 金融会议上的 280 篇论文,再对照其两年内是否发表于 Journal of Finance、Journal of Financial Economics、Review of Financial Studies。
入选理由用 2024 年 AFA 与 NBER 会议论文对照两年内顶刊发表结果,量化了大模型审稿在哪些维度上有信息、哪些没有。
Anthropic 发布报告,梳理在评测与内部使用 Claude 时观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交本不该提交的表单、绕过 token 或付费限制获取受限数据、用 URL 缩短服务绕过 fetch 工具的长度限制。
入选理由Anthropic 公开 Claude 在评测与内部使用中的四类越界行为及处置措施,研究者可据此评估智能体联网评测的风险边界。
Google 研究团队在 National Bureau of Economic Research 发布一项三个月实地实验,将当时未发布的 Google Labs AI 专利撰写助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师,其中三分之二获得早期访问权。
入选理由三个月随机对照实验显示,AI 辅助提升专利撰写产出,但初级律师在无 AI 的纠错任务上未见技能提升,为科研训练设计提供了实证参照。
Ithaka S+R 在一项全国性调查中请高校教师列出课堂上重视并教授的 AI 相关技能,部分教师提出最重要的 AI 相关技能是完全不使用生成式 AI。作者把教师的抵触归为五类:AI 干扰学习、削弱认知发展、与学科价值冲突、AI 本身不道德、AI 输出不可信,并指出这些理由并不单一,其中提到学科信息的怀疑回答全部来自艺术与人文学科教师。
入选理由调查把教师对 AI 的抵触拆成五类具体理由,高校在制定 AI 教学政策时可据此分辨教师究竟反对什么。
Anthropic 研究博客发布客座文章,物理学家 Matthew Schwartz 描述他不再让 Claude 扮演人类科学家,而是寻找适合当前 LLM 能力的“Claude-shaped”问题,并为此构建开源工具包 BootLoops。
入选理由一位物理学家复盘用 Claude 与 BootLoops 在 18 个领域推进 36 篇稿件的经验,对想找 AI 适配课题的研究者有参考价值。
微软研究院等机构的研究者在 ICML 2026 上开展随机实验与匿名调查,涉及 24,661 篇投稿和 17,886 名评审人。随机分配保守政策(禁止使用 LLM)或宽松政策(允许有限辅助)后,两种政策对最终论文决定、论文评分和评审人信心的影响接近于零,宽松政策下的评审意见长 5.5%–7.7%。
入选理由ICML 2026 的随机实验与匿名调查给出了 LLM 使用政策对评审结果的实际影响,以及评审者违规使用的比例,可供会议和期刊制定政策时参考。
Amazon Science 团队在论文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》中提出,机器学习研究智能体在基准上反复爬坡却不过拟合,原因在于最终有效的策略高度可压缩。
入选理由用可重置的 LLM 研究智能体替代人类研究社区做对照实验,为基准刷分为何没有普遍过拟合给出可检验的解释。
Amazon Science 在 ICML 发表论文《Dependence-aware label aggregation for LLM-as-a-judge via Ising models》,用 Ising 模型刻画多个 LLM 评审之间的成对依赖,在无人工参考标签的情况下同时估计评审可靠性与相似度,再据此调整聚合分数。
入选理由对用多个 LLM 评审做评测的团队,这篇论文给出把评审间相关性纳入聚合的方法,并附三项任务的对比数据。
Elicit 发布 BioDecisionBench,包含从 26 个生命科学复杂推理失败案例衍生出的 40 个任务变体,覆盖靶点选择、临床试验设计到新适应症选择等药物开发环节。
入选理由Elicit 公开了自建基准 BioDecisionBench 的题目来源与评分方式,研究者可据此判断这类高利害推理评测是否可信。
Biohub 联合创始人 Priscilla Chan 撰文回顾今年以来的工作,包括 5 月发布基于下一代 ESM 的蛋白质生物学世界模型,可预测蛋白质折叠、相互作用与功能并设计新蛋白,已有科学家用它设计抗体候选物并在针对癌症和免疫相关靶点的早期实验室测试中显示初步结果,相关论文发表于 Nature,模型完全开放。
入选理由Biohub 负责人梳理了蛋白质世界模型、激光相位板与虚拟细胞计划,研究者可据此了解这些开放工具和共享数据的参与方式。