剑桥团队发布AI审稿基准与Skepthical审稿器

事件综述根据 2 篇报道整理，11月13日更新

剑桥大学等机构的 Íñigo Zubeldia 等人发布了一套 AI 同行评审评测基准，并推出多智能体审稿器 Skepthical。基准向真实论文的 LaTeX 源码注入四类可定位错误（一般问题、数学、数值、引用），每类分三档严重程度，按错误类型和严重程度统计各审稿系统的检出率，同时测其在无错副本上的误报率。Skepthical 通过检索被引论文核对引用支撑的说法、用计算机代数核验数学、运行代码核验数值。评测流程、论文列表、注入目录与完整裁定日志已在 GitHub 公开，审稿器可经 skepthical-ai.org 访问。 作者称该基准不覆盖新颖性、重要性、实验充分性、缺失对照、解释性判断及与人类审稿的一致性，理由是这些难以量化且通常缺乏明确真值。作者同时说明，每个语料库规模较小，仅含某一领域某一天的 15 篇论文、每篇不超过 20 页；涉及 Skepthical 的对比未做算力匹配，它使用了更多调用和三家提供商，团队也未运行同等成本的同提供商集成，因此其优势不能单独归因于流程设计。上述结果来自团队自建基准，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。