研究重析AI科研智能体论文:无来源数字多为错配而非编造
一项针对 Into the Unknown 基准的重分析发现,AI 科研智能体论文中不受支持的数字多数并非凭空编造,而是取自智能体自己的结果文件却对应了错误的实验、指标或运行。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
2,301 条收录动态,更新于 18:14
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
一项针对 Into the Unknown 基准的重分析发现,AI 科研智能体论文中不受支持的数字多数并非凭空编造,而是取自智能体自己的结果文件却对应了错误的实验、指标或运行。
Meta FAIR 等机构的研究者在 arXiv 预印本中提出 AutoBenchmark,让自主科研代理从任务说明出发端到端构建基准,并用求解器轨迹和 LLM 评审两类反馈迭代修订。
小米开源轻量级文档理解模型 Xiaomi-OCR-0,参数规模 0.8B,权重与推理代码已上线 Hugging Face 和 GitHub,单一模型覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。
原文正文未能加载,仅可见 Nature · Publishing 主题下的一则讣告标题,纪念 Linda J. Miller(1958–2026)。除姓名与生卒年份外,无可核实的生平、任职机构或学术贡献信息。
作者 Ko Fujimura 报告一套由通用编程代理、约 7300 词指令文档和两个技能(研究问题构思、同行评审)组成的自主科研系统,在笔记本电脑本地计算、无人类研究输入的情况下连续完成五次运行,从提出研究问题走到经 AI 评审并修订的可重算论文。
一项 arXiv 预印本对 628 项原始研究(2021 年 7 月至 2026 年 10 月)做了系统综述,并按同等算力预算对十种提升 LLM 生成代码质量的技术做受控复评,覆盖正确性、可维护性、效率与安全四类基准。
一项 arXiv 预印本研究在统一生成协议下比较五种文献检索策略与无文献基线,覆盖 15 个机器学习主题、十个开放权重模型和 45,000 条研究想法。结果显示,相对无文献基线,五种检索策略使同一组论文生成的想法多样性下降 5.6%–17.9%,而把不同论文集生成的想法合并后,多数策略使多样性提升 10.2%–18.1%;对想法质量与新颖性的平均影响较小且随主题变化。
作者让六个前沿模型以单人或团队形式,从七篇近期 NLP 论文出发各提出五个最小可行实验(MVE),并预测结果、排序;独立执行器把 415 个 MVE 全部跑完,再由三个模型审计。
得克萨斯农工大学等机构的研究者提出 UnderSpec-DR 框架,系统评估用户查询欠明确如何影响深度研究代理的最终答案质量与中间检索行为。
很高兴看到 MiniCPM-OCR 在真实手写笔记上接受检验!💙 感谢分享这个例子,帮助传播 MiniCPM-OCR 和 Jev!🙌
OpenBMB just released an OCR parser alongside a separate model that evaluates its outputs. It’s called MiniCPM-OCR. One model reads your documents. A second model tells you which parts it probably got wrong. 100% open source. Apache 2.0. ↓
JMIR Publications 运营副总裁 Richard di Santo 在 The Scholarly Kitchen 客座文章中警告,学术出版正把 AI 从格式、参考文献核验等机械环节推进到对科学本身的评估。他指出,若让机器承担初审乃至唯一评审,审稿人的批判判断力会因不再使用而萎缩,而信任正是出版业存在的根本。
维基媒体基金会(Wikimedia Foundation)就包括《纽约时报》诉 OpenAI 和 Microsoft 在内的一组 AI 版权诉讼提交法庭意见书,对双方均不站队,并警告任何一方获得过于简化的全面胜利都可能损害开放网络。
Artificial Analysis 在 Intelligence Index v5 中上线 HLE-Diamond 榜单,独立评测 CAIS 与 Scale AI 经一年清洗修订的 Humanity's Last Exam 1000 题版本,其中 272 题含图像,推理与知识题各半。
论文提出 Exploration-Distillation(ExpDis),把 RLVR 训练拆成两个模型:探索者因找到新颖解法获得奖励,学生模型只从探索者已验证正确的解法中学习,再继续标准 RL。在三个模型上,相同算力预算下 ExpDis 在数学推理上优于标准 DAPO,准确率与解法多样性均提升,甚至超过训练步数多 4 倍的 DAPO。
研究团队构建了一个人在回路中的 AI 智能体,为每位学者汇集带出处的证据并起草一句话 TSBM 影响摘要,供工作人员复核。在一个 CTSA 中心的 10 名 KL2/K12 职业发展学者上评估,两名工作人员独立编码全部 507 条发现,81.7% 被接受或修改;每人每名学者中位耗时 14 分钟,而人工汇编估计需 15 小时。
普林斯顿大学的研究者分析 OpenAlex 中约6000万篇论文后指出,2019年 Nature 论文所称小团队更易改变研究方向的结论,很大程度上是标准改变研究方向指数(DI)对参考文献数量的机械依赖造成的测量偏差。
Samyama.ai 作者在 arXiv 预印本中提出把学科开放问题做成数据:手工维护的问题层原样保留,其下叠加从文献索引重建的证据层,两层用带来源的 SAME_AS 与 EVIDENCE_FOR 边连接,存于同一图数据库并用 openCypher 查询。
一项针对 Into the Unknown 基准的重分析发现,AI 科研智能体论文中无依据的数值大多并非凭空编造,而是取自错误的实验、指标或运行。作者重析该基准全部 540 份评审判断,并人工标注 18 份投稿中的 256 条数值主张,在 53 条无依据主张中 47 条属于错配、仅 6 条在可用文件中找不到来源,加权后错配占比约 81%。
墨尔本大学 Vassilis Kostakos 在 arXiv 预印本提出同行评审改革方案:投稿改为 1500 字简报加不限长度的机器可验证附录。人类审稿人只评审简报,判断研究是否值得做、方法是否可信、潜在收益是否值得投入;附录由模型核验实验记录与统计结果。作者认为 AI 写论文、AI 审稿的循环可以存续,但需以人类评审作为奖励函数。
一项预印本研究利用 arXiv、DBLP 和会议投稿记录,分析 2010–2025 年计算机科学论文增长,把论文总量拆成作者人数与人均论文数两项,发现论文量增长几乎全部来自发文作者人数增加。
德国弗赖堡大学等团队在 arXiv 预印本中介绍已运行的社区研究基础设施 3Dtrees.earth,把近距 LiDAR 点云数据、分析工具与计算资源整合到同一平台,并将原始观测与其元数据、处理输出关联。
Anthropic 最新研究显示,50 位因果推断专家在模拟农业合作社政策评估中,四项分析决策采纳 AI 偏好的比例达 86%,远高于随机选择的 50%。当 AI 给出相反意见时,专家改变立场的可能性比 AI 认同时高 53 个百分点,且经验、自评专业水平与对 AI 的信任度均未可靠降低这种影响。
百度于本月 27 日正式发布并开源文心 Unlimited OCR 2 文档解析模型,将文档解析上限从数十页推向“无限”,可一次性解析累计超过 3,600 页的《哈利·波特》全系列 7 部作品。
谷歌研究团队于 10 月 27 日发布博文,介绍名为睡眠框架(Sleep Framework)的持续学习研究成果,论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
https://x.com/i/article/2116020444684046336
Artificial Analysis Intelligence Index v5.0 发布两天,Terminal-Bench-Science 首次进入指数并占总分 15%,整个"科学"类别权重从 20% 上调至 25%。
通过 autoresearch 关注所有最新模型趋势:https://openresearch.sh/rankings 使用 OpenResearch 自己尝试 autoresearch:https://github.com/alphaXiv/OpenResearch
独立写作者咸鱼(公众号「葬AI」)在 ChinaTalk 播客中谈中国 AI 行业,称自己从 2025 年下半年起完全弃用 AI 写作,理由是模型编程能力变强而写作原创性明显下降。他还做了一个让普通人按“梗度”给视频模型排名的网站,并与主持人就中美哪边炒作更严重存在分歧。
华为制药军团总裁樊杰明确表示“华为不做药,也不做管线”,希望以计算、通信和 AI 能力为药企与科研机构提供算力、存储、网络、工具链和数据治理,做 AI 制药产业的技术底座。国产游戏《影之刃零》10 月 29 日发售后 Steam 峰值在线玩家达 43 万、登顶全球热销榜。Alphabet 因 Q3 营收与净利润不及预期、AI 投入扩张致自由现金流为负,股价盘中跌超 13%,创其史上最大单日跌幅。
SciSpace 发布研究指南,按“所需输出”而非语料规模对比 Crossref、OpenAlex、CORE 与 Unpaywall 四个学术元数据 API:Crossref 适合 DOI 元数据补全,OpenAlex 适合发现与引用关系,CORE 适合机构库全文工作流,Unpaywall 适合 DOI 到开放获取的解析。