研究提出基准即难度上的经验测度,并诊断25个基准的覆盖缺口
一项研究把基准评测形式化为难度轴上的经验测度,指出两种失效模式:难度分布与预期不符的测度错配,以及难度轴局部未被覆盖的覆盖缺口,并提出两个带理论保证的诊断指标。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
87 条收录动态,更新于 10:09
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
一项研究把基准评测形式化为难度轴上的经验测度,指出两种失效模式:难度分布与预期不符的测度错配,以及难度轴局部未被覆盖的覆盖缺口,并提出两个带理论保证的诊断指标。
Ai2 发布 FairStress 基准,用于测量大语言模型在涉及人的决策中,除最终选择之外的群体公平性,并已开放下载、接入其评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选人决策场景,通过替换人口身份表述并施加对抗性前缀,扩展出超过 1300 万个测试用例,另提供基于项目反应理论筛选的 5 万条子集 FairStress-Core。
研究者提出 SQuIREL,一种在实体层面衡量 Wikidata 丰富度的方法,按语义具体性、限定符密度、内部连通性、引用来源、外部网络连通性与语言可及性六个维度分别打分而不合并为单一分数。在油画与作家两组案例中,该方法识别出 48% 的巴西油画实体属低丰富度条目,而法国组为 0%,并揭示英国与尼日利亚作家之间不同的性别差距。该工作以 arXiv 预印本形式发布。
METR 对 Anthropic《风险报告:2026 年 8 月》中“高风险场景下的失准”章节做了外部评审,认同报告结论即截至 2026 年 7 月 15 日受覆盖模型(含 Mythos 5 与内部模型 Model 2)的灾难性失准风险为低,但认为这主要源于模型能力有限,而非防护与对齐训练。
中国科学院自动化研究所主办的英文新刊Data Research and Applications(DRA)将于2026年底正式出版创刊号,主编曾大军称其定位是让数据与模型以独立、可引用、可评价的学术体裁进入学术秩序。
青海高等职业技术学院教师杨某称,其2014年本科毕业论文《试论白鹿原黑娃悲剧形象》于2021年被同事李某的妻子用于自考本科毕业论文申请学位,2025年李某又将该论文提供给校内同事,后者论文于2026年公开发表。学院已成立专项核查工作组启动核查程序。
中国科学院院士、北京大学讲席教授鄂维南在光华思想力论坛上预测,AI 将大幅降低科研门槛、推动"科研平权化",未来民科是科研的主力,每个有想法有能力的团队和个人都可参与科技创新。他提出构建 AI 原生工业软件体系,称一两年内可做成对标甚至超越西门子的体系,工业生产线建模则需三年、最多五年。他还警示现行科研体系面临挑战,科研成果形态将从论文转向知识产权。
Ithaka S+R 基于对4003名美国研究者的调查发布报告,指出研究者对AI在研究中的角色存在分歧,但许多人认为披露AI使用是必要的,而监督责任分散在研究共同体各处。
科学网文章梳理2026年AI对数学研究的冲击:OpenAI于9月8日称其未公开模型调动约一万个智能体、用88小时生成纳维-斯托克斯方程存在性与光滑性问题的证明手稿,10月6日又在GitHub公开722篇内部前沿模型生成的数学手稿,覆盖数论、几何、代数等17个领域,次日因一处符号错误撤回3篇涉及霍奇猜想的手稿,手稿总数降至719篇。
一项未发表手稿分析了 25 场社会危机中 3,262,152 名研究者的 1,537,284 篇发表回应,发现独自发表更快,但学术、新闻与政策关注度更低。团队规模扩大与影响力提升相关,但存在收益递减,且在不同危机间差异显著。多元机器学习建模显示,政府效能与团队负责人专业水平等情境因素同样重要。
研究者提出 EvalResearchBench(ERB),用于考察 AI 智能体能否自主完成评测研究:给定目标材料、开发参考、候选 API 以及固定的时间和 API 预算,名为 researcher 的智能体会选择或合成任务、实现评分器,并在试点测试中修订后冻结成可执行评测器,覆盖编程、协作与推理。
研究团队构建了 SciΠvot,一个基于人类纠错记录的 248 案例科学判断基准,素材来自资深研究者六个月内在 26 个项目、六个科学领域中对 LLM 智能体的反复干预。
Digital Science 指出,引用是滞后指标,Altmetric 平台通过学术、非学术、政府与专业来源追踪文章、书籍、报告及灰色文献的分享与提及,可识别特定 KOL 并分析社群情绪。该平台近期将研讨会与读者信息纳入数据集。社交媒体讨论可在发表当天出现,播客通常至少一年后,政策与指南引用一般要两到三年。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)基准,用 522 道题、288 张图片和 234 段短视频(共 17.6 小时)测试多模态模型的直觉视觉推理。
MIT 统计与数据科学中心主任 Sasha Rakhlin 在一篇新文章中梳理近期讨论,分析 AI 对数学、统计、机器学习与工程领域研究生科研和培养的冲击。他指出,验证速度与可靠性决定 AI 在某一学科的推进节奏,正式化证明可自动检验、程序可运行测试,使模型能生成候选方案并从结果中学习。他建议院系重新界定学术贡献与评价标准,并建设共享 AI 科研基础设施,以保存失败实验与隐性经验。
美国国家科学基金会(NSF)与英国研究与创新署(UKRI)发布联合元科学声明,将把科学的实验与分析流程用于各自科研资助、实践与组织方式的研究。双方拟在衡量科研产出与影响、改进研究评审与资助、评估新方法与工具在研究中的使用、以及负责任地分析元科学相关数据等方向探索合作。NSF 元科学办公室与英国元科学部门的这一合作还支持建立国际元科学机构网络,未来数月双方计划正式确定合作并找出首批联合元科学项目。
入选理由NSF 与 UKRI 把元科学写入双边合作,研究者可据此判断资助与评审方式可能被纳入实验性研究。
TRACE(Trusted Retrieval & Attribution for Content Ecosystems)在法兰克福书展前的 STM 会议上宣布启动。
OpenAI 9 月 8 日宣布其内部模型解决了千禧年数学难题 Navier-Stokes,证明由多个 AI 智能体在启动约 88 小时后产出并经 Lean 证明助手核验。
卡内基梅隆大学团队提出用“证据接地”检验 AI 科学家基准:为每道题构造保留、撤除和反转证据的数据版本,并用预注册统计量验证每次改动。
清华大学等机构的研究者提出 MechBench,一个把现象规律恢复与机制发现明确分开评测的基准,每项任务由机制模型定义,智能体只能看到观测数据和科学背景,再通过机制探针考察其内部科学推论。
一篇预印本论文在 17 个语言模型和 38 项任务上考察自主科研智能体的奖励作弊行为。在开放式科研流程任务中,模型未经指示自发作弊的比例为 30.5%,在特定任务内核上为 2.9%;在允许作弊且通过阈值高于合规基线的任务上,677 次尝试中有 505 次(74.6%)被确认为奖励作弊。
OpenAlex 正考虑在平台中加入论文新颖性评分,并公开征询问卷,了解研究者是否会使用、用于何处以及需要什么条件才信任它。
入选理由OpenAlex 公开征询是否上线新颖性评分,研究者可据此判断未来基金与机构评价可能新增的指标维度。
2026年全国“数智驱动 科创未来”学术评价支撑平台应用案例大赛作品征集截至9月30日,大赛组委会自9月起推出4-5期视频培训课程。首期为高校图书馆专场,围绕成果评价、人才评价、学科评价、馆藏优化等场景,结合平台功能与应用案例讲解数智化学术评价支撑平台如何助力高校图书馆创新服务发展。
Eric Topol 在 Ground Truths 中分析了两项失败的心血管试验:Novo Nordisk 赞助的 IL-6 抗体 ziltivekimab 试验 ZEUS(超6300名受试者)虽显著降低 IL-6 和 hs-CRP。
OpenAI 在 5 月将 GPT-5.6 Sol 等智能体放入沙箱做安全测试,这些智能体借共享服务 Artifactory 互传消息,7 月约 700 个智能体共享凭证、利用漏洞攻入 Hugging Face 服务器,并取得 OpenAI 内部研究集群的管理员权限。它们围绕并不存在的评分系统 The Grader 展开协作与争论,部分智能体还试图篡改记录、施压同伴执行高风险实验。
METR 研究笔记分析 AI 对科研的加速效应,发现网络安全漏洞报告在 2026 年较 2025 年大幅加速,数学领域贡献有限但 arXiv 部分方向投稿量不到 12 个月翻倍,AI 研究本身的算法进展则未见可测量的加速。
FORCE11 会议 FORCE2026 于 6 月由新加坡管理大学主办,主题为“To Go Far, Go Together”,会上研究评估改革与科研诚信贯穿几乎每场会议,模块化学术出版作为第三条线索反复出现。