NoveltyScope:面向科学论文证据支撑新颖性评估的多智能体科研助手
纽卡斯尔大学团队提出原型系统 NoveltyScope,可将论文 PDF 或 URL 与本地语料中的先前工作对比,输出结构化报告和 1-5 级新颖性评分。系统由 Prosecutor、Defender、Judge、Critic 四个角色评分,引文需与缓存原文核对。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
106 条收录动态,更新于 07:05
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
纽卡斯尔大学团队提出原型系统 NoveltyScope,可将论文 PDF 或 URL 与本地语料中的先前工作对比,输出结构化报告和 1-5 级新颖性评分。系统由 Prosecutor、Defender、Judge、Critic 四个角色评分,引文需与缓存原文核对。
Prophy 提出,同行评审困境并非审稿人数量不足:ScholarOne Manuscripts 期刊 2026 年第一季度投稿量同比增 33%,同期审稿人池扩大 54%,但邀请仍大量投向不匹配的稿件。Prophy 自 2018 年起为出版商和资助机构匹配审稿人,其自建约 17 万个科学概念的本体用于按研究内容而非关键词匹配,并主张邀请仍由编辑本人发出。
研究团队提出 PremiseCheck 框架,用于核查审稿意见中与论文不符的事实性错误:由 LLM 在不读论文的情况下把每条意见拆成显式前提,再由决策模型对照论文逐条验证,取最低分作为该意见得分。
佛罗里达国际大学等机构的研究者提出对话式多智能体系统 ReviewPilot,覆盖系统综述的检索、筛查、全文获取、信息抽取与语义归类五个阶段,研究者可通过对话定制纳入排除标准与抽取字段,每条筛查决定附理由、每个抽取值附原文出处,项目记忆保留配置与修订。
研究团队提出 PremiseCheck 框架,用于核查人类或 AI 撰写的审稿意见是否误述论文内容:先由 LLM 在不读论文的情况下把每条意见改写成明确前提,再由决策模型逐条对照论文核查。
Google Research 在 Research@ 活动上宣布,Deep Review 在 STOC、ICML、NeurIPS 和 ICLR 累计处理 16K+ 份投稿后,将从科学同行评审扩展到对知识文档(包括 Google Docs 与演示文稿)提供有依据的核查,现已开放试用。原文附有试用链接 https://goo.gle/4zx1OEP。
Google 公开发布智能体系统 Deep Review,对复杂文档提供技术验证与反馈,最初面向计算机科学论文分析,现已扩展到法律、金融等领域。每位用户每周可免费获得两次文档评审,也可接入 Gemini API key 提高用量并通过 Deep Review API 做程序化集成,目前支持 PDF 和纯文本输入。
入选理由Google 把预投稿反馈工具 PAT 升级为面向全球开放的 Deep Review,研究者可据此判断自动评审能否补上人工验证的缺口。
Google Research 在 Research@ 活动上公布十项科研相关工具进展,其中智能体审稿系统 Deep Review 从早期版本扩展至面向公众开放,用于核查技术文档的逻辑一致性与事实依据。
入选理由Google 公布十项科研相关工具进展,其中 Deep Review 已用于审阅逾 1.6 万篇会议投稿,研究者可据此判断 AI 审稿辅助的可用范围。
PA EDitorial 首席运营官 Sarah Hands 在 The Scholarly Kitchen 撰文指出,出版商对 AI 工具的采用可能正快于对其实际成效的评估,工具上线只是开始,更需追问是否带来预期收益、在何处引入新风险。
一项预印本研究对ICLR 2025和2026的200篇论文做了约1.4万次AI评审,考察单次AI评分的可靠性、分数分布估计以及不同模型对修订增益的一致性。结果显示,即使论文、模型和评审配置固定,重复评审的分数仍会波动;更细的评分粒度会降低方差但系统性改变均分;同一份修订稿在不同评审模型下可能得到方向相反的增益,原始论文评分高度相关的两个模型在修订增益上的相关性明显下降。
F1000 与 Wellcome Sanger Institute 为 Wellcome Open Research 开发了一套半自动化出版流程,目标是把 Tree of Life 项目的基因组笔记出版量从每月约 30 篇提升至 200 篇。
入选理由F1000 与 Wellcome Sanger Institute 的基因组笔记工作流把计算机辅助审查与发表后同行评审结合,为大规模数据论文的出版与索引提供了可参照的流程。
一项预印本研究让 GPT-4o 审阅 2024 年 AFA 年会和 NBER 金融会议上的 280 篇论文,再对照其两年内是否发表于 Journal of Finance、Journal of Financial Economics、Review of Financial Studies。
入选理由用 2024 年 AFA 与 NBER 会议论文对照两年内顶刊发表结果,量化了大模型审稿在哪些维度上有信息、哪些没有。
Platform Strategies 2026 的一场讨论聚焦"诚信之后"的问题:当论文工厂被筛除、作者身份被核验后,如何判断什么值得进入学术记录。
澳大利亚天主教大学团队对 LLM 辅助编码的安全风险做了系统综述,指出模型常因训练数据偏差生成不安全代码和错误补丁,且模型自身易受直接攻击。现有评测方法存在数据污染、缺乏稳健安全指标的问题,人类监督仍不可替代。研究认为更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准和更有效的人机协作框架。
SciSpace 宣布在 Advanced 和 Max 套餐推出不限量智能体使用,用户不必再按用量额度规划每一步操作。官方说明中,智能体可并行执行任务,例如一个智能体探索研究问题、另一个核查现有稿件的引用、第三个根据已有发现准备演示文稿。平台还提供 Citation Verifier,用于检查来源是否支持文中的论断,用户审核证据与建议后可让智能体按批准的修改更新报告。
入选理由SciSpace 把智能体用量改为不限量,研究者可据此判断多任务并行与引用核查流程是否值得纳入日常工作。
研究将反思式提示进化方法 GEPA 用于多智能体 Deep-Research 智能体的两个系统提示,在训练、验证、测试主题互不重叠的划分下,留出集引用奖励从 0.702 升至 0.781,提升 0.079(bootstrap 95% 置信区间 [0.051, 0.107]),并在三个随机种子上复现(均值 0.107)。
帝国理工学院 Ben Glocker 等人提出"研究契约"(study contracts),将申报的实验选择、执行义务与主张范围绑定到记录的执行证据上,并区分契约相对验证与科学真伪。
Duke University Press 于 2026 年迎来百年,其前身 Trinity College Press 于 1926 年 1 月更名。该社以严谨同行评审著称,出版周期可达数年,并称 2026 年共有 10 家大学出版社庆祝周年。其历史可追溯至 1902 年 Bassett Affair,该事件确立了学术自由与言论自由原则,成为出版社的立社基础。
Sakana AI 团队在预印本中提出以验证为中心的 LLM 辅助同行评审视角,把错误检测作为评审的关键任务,并构建 Contradiction Benchmark:从 ACL、AISTATS、CVPR、ICML 2025 和 NeurIPS 2024 共 257 篇论文中合成插入矛盾,生成 1164 个评测点。
一项基于软件工程系统综述筛选基准 SESR-Eval 的研究发现,八个新大语言模型的筛选表现仅比七个旧模型略有提升,跨二次研究的平均 MCC 从 0.347 升至 0.365,且二次研究之间的差异仍大于模型之间的差异。模型在筛选决策上总体一致(平均 Gwet's AC1 = 0.830),细化纳入与排除标准仅小幅提升召回率。研究认为大语言模型尚不能替代人工筛选,更昂贵新模型带来的优势十分有限。
美国学术出版学会(SSP)2026 年 9 月 Pulse Check 调查访问了 181 名学术传播从业者,73% 将 AI 生成或操纵的稿件列为最担忧的三大诚信问题之一,但只有 10% 对发表前检出这类稿件很有或极有信心,49% 信心较低。
Scite 发布 2026 年 9 月更新,Scite MCP 新增引用证据、全文阅读、参考文献格式化和引用报告工具,可查看论文被支持、对比或提及的引用及引用原文,并逐页阅读开放获取论文和机构订阅内容。
入选理由Scite 把笔记、全文阅读和引用证据接入 AI 助手,研究者可据此判断文献工作流能否在对话中完成。
Consensus 推出 Skills,一组面向常见科研任务的预设工作流,用户从查询框选择任务并输入问题、起始论文或稿件段落,系统在 220M+ 同行评审论文语料中检索阅读后返回结论及支撑论文与原文段落。
入选理由Consensus 把文献综述、引文追溯和引用核查做成可复用工作流,研究者可据此判断哪些写作环节能交给工具。
Aaron Tay 实测 TypeSafe 的零样本决策模型 Jev 用于系统综述标题摘要筛选,在 8 个 CLEF-TAR 2019 DTA 综述共 26832 条记录上,单问题设置取得 WSS@95 = 0.661,成本约 1.46 美元,优于多数已发表的 LLM 流水线,仅低于 2026 年三 LLM 集成方法的 0.680(加嵌入重排为 0.708)。
Press Gazette 与 Flip-Pay 推出 Made by Humans,可在发布前检测文本、图像、视频和音频是否由 AI 生成或被操纵,底层使用 Pangram 和 identifAI。
Vals AI 推出 Legal Research Bench(LRB),包含 413 道由执业律师编写的美国法律研究开放题,每题配有标准答案、来源清单和二元评分细则,并公开了可复现的智能体评测框架与 5 题公开样本。
北京师范大学与贝壳找房的研究者提出 Causal Evidence Selection Correction(CESS),用于从深度研究智能体实际打开的文档轨迹中估计预设候选文献池所支持的证据方向,并区分“候选池结论”与“改变检索策略带来的效果”这两个不同问题。
FinAutoRubric 用专家指定的可复用评估指引驱动智能体与代码自动生成、审查并验证针对具体查询的评分标准,失败案例会升级给人工处理。在三个专家编写的金融基准上,其评分标准与专家打分的一致程度不逊于所评估的最强生成器,且覆盖更多标准项,内部分析师在盲评中更偏好该标准。团队同时发布 100 条查询的 FinAutoRubric Benchmark,覆盖 78 项任务和八类资产。
一篇论文描述了免向读者和作者收费的开放获取期刊 Quorum(jquorum.org),以同行评审为"货币":学者完成一篇稿件的首次完整评审可获 1 学分,1 学分可支付一次投稿,每篇稿件获 3 份双盲评审并由系统按专长自动匹配。
作者提出组合可控性框架,为文献综述智能体的评测定义比较窗口与可采纳性检验,在查看分数前先拒绝不可比的比较,并只对超过采样与干扰半径的差距给出排序认证。配套的 BioLitBench 基准包含 2,042 篇生物医学文章、246,102 条论断和 832,487 条类型化关系,同主题综述作为集合值参考。