Ai2 研究:大语言模型能否可靠判断科研想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型作为新颖性评判者(novelty judge)是否可靠,并公开基准、数据和代码及可自动构建评测集的流水线。
入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,显示同一批想法在提示词微调下判定大幅翻转,为使用 AI 评估科研构思的团队提供了可复用的测试工具。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
430 条收录动态,更新于 17:06
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型作为新颖性评判者(novelty judge)是否可靠,并公开基准、数据和代码及可自动构建评测集的流水线。
入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,显示同一批想法在提示词微调下判定大幅翻转,为使用 AI 评估科研构思的团队提供了可复用的测试工具。
北京大学 Haoran Ye 等人在预印本论文 Harness-Zero 中提出 harness 蒸馏:为 Qwen3.5-9B 构建专用 harness,用 GPT-5.6 Sol 逐步修正小模型轨迹并微调,去掉 harness 后蒸馏模型平均任务成功率提升 21 点,超过原模型加完整 harness 的表现。
一篇综述为大模型系统的递归自我改进(RSI)给出可操作定义与流程框架,将可信要求归为真实且持续的改进、行为约束与对齐公平、系统安全与隐私、透明与可控四个主题。分析覆盖改进诊断、方案生成、方案评估与更新实施(S1–S4)及对改进机制的递归应用(RI),并区分直接 RSI 证据与相关系统中的证据。文章还讨论评估设置,提出独立与纵向评估的要求及开放研究问题。
别错过我们分析 16000+ 篇 NLP 论文局限性的互动演示。今天上午 10:30,来 #EMNLP2026 Google 展台(#D5)找 Piyawat Lertvittayakumjorn,了解研究趋势如何变化,并查询你自己的论文是如何被编码的。阅读论文:https://arxiv.org/pdf/2609.15191
alphaXiv 推介的一篇论文提出,强化学习主要改变大模型偏好哪些推理策略,而非教会全新的推理技能:强化某些策略可提升部分任务准确率,却可能压制对其他任务有用的策略并降低推理多样性。
Lafa 把预训练 LLM 转成连续流语言模型,通过逐步去噪嵌入并行生成多个 token,并用同一模型原有的下一 token 预测能力校验这些并行草稿,而非完全取代自回归解码。研究者用不到 30B 训练 token 将 Lafa 扩展到 8B;7B 规模下生成速度最高达同类自回归模型的 2.54 倍,准确率相近。
OpenAI于当地时间10月26日宣布在调和分析、复杂性理论和量子场论三个方向取得新发现,称其模型给出了局部光滑猜想在所有维度下的证明,并证明指数时间假设(ETH)为假,还严格证明了包含规范场与费米子的四维相互作用量子场论。
入选理由三项成果均待学界独立验证,外部专家团队参与核查的安排,为研究者判断AI产出可信度提供了参照。
CISPA 等机构的研究者提出一套受控改写框架,在保持论文科学内容不变的前提下,把论文改写成母语/非母语风格和高自信/低自信风格,再交给 Gpt-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma3、Qwen3 VL、Glm4.7 六款 LLM 审稿。
纽约大学团队在 arXiv 预印本中提出 SmoothScore,用于衡量 LLM 深度研究报告中的结论是否比所引文献证据更绝对,并将这一现象称为 smoothing。
一项 arXiv 预印本研究用真实法律引文的受控扰动测试了 14 个前沿模型配置,发现模型能识别 93–100% 的错案替换,但只识别 37–61%(法院判决书)和 52–83%(法律书状)的同案错页码。GPT-5.4 在高推理强度下仍漏掉法院判决书中 40% 的页码不匹配,提示模型常把主题重叠当作支持依据。作者指出,引文核查不能止于确认案件存在,还需验证被引页面是否支持所引命题。
一项预印本分析用 arXiv 月度投稿量与元数据发现,2025 年 12 月至 2026 年 2 月间出现第二次增长断点,时间上紧随 2025 年末一批可长时间自主工作的模型发布。
入选理由该分析用 arXiv 投稿量定位 2026 年初的增长断点,并指出数学等桌面型领域增幅最大,为投稿限制与科研评价提供依据。
伦斯勒理工学院团队提出 SUDO(Scholarly Upper Discourse Ontology),按论文的术语、命题与论证结构自下而上构建学术知识图谱,并保留每条信息在原文中的出处。
一项基于 ICLR 2024 的 7,083 篇公开投稿的研究比较了 GPT-5 mini、Gemini 3 Flash Preview、Claude Sonnet 4.5 和 DeepSeek-V3.2 的评审打分与 3 至 5 位人类评审均值的一致性。
一项预注册研究测量了四份公开训练数据集是否包含官方更正:在 EurlexResources 中,2,082 条可检验的欧盟法案单语更正里有 1,989 条(95.5%,94.6–96.3)仍以错误形式存在,随机抽取的 100 条中 46 条改变了含义、数字、交叉引用、主管机构或适用范围。
一项 arXiv 预印本提出以研究者自我网络为尺度的细粒度研究团队检测方法,要求自我节点出现在所有识别出的团队中,计算核心基于 Leiden 算法,数据来自科学知识图谱。该方法通过 10 名不同背景与职业阶段研究者的用户评估,显示能呈现有意义且可解释的合作结构。识别出的团队可作为后续刻画角色、资历、贡献类型与发表模式的结构骨架。
一篇预印本提出"密封押注"协议,在结果未知前锁定快照日期、候选池、判定规则与同候选池随机对照,并用加密指纹封存清单。在PubMed/MEDLINE的2017—2022回溯基准上,120个名额中随机对照命中26.7个"冠军"主题、15.1个"失败"主题,检测器为85和3,九种预注册判定变体下冠军数为随机的2.5至5.0倍。
阿里千问团队开源多语言 LLM 智能体基准 BabelArena,覆盖约 699 个规范任务与 23 种语言,约 1.6 万个任务实例,并配套 BabelFlow 适配流水线,论文见 arXiv:2609.23490。
Our latest open-source research has a pretty interesting name, inspired by the story of the Tower of Babel. What interests us about that story is how language barriers can get in the way of people working toward the same goal And when it comes to agents, there are a few more places for that understanding to break, like tool arguments, database entries, and search queries One example from BabelArena (yes that's the name, surprise) stuck with me: Qwen-3.8-Max completed the same shopping task in English and Telugu, getting the same four products. But it took 25 tool calls in English and 201 in Telugu, with repeated empty searches against the localized catalog. Even though both runs passed, we’d still want to see that difference before shipping. Sorry for the long story, hope you guys are still here. What I want to share is that we’ve open-sourced BabelArena to study these workflows across 23 languages. Code, datasets, and paper in the comment
一项基于 7,083 篇公开 ICLR 2024 投稿的研究比较了 GPT-5 mini、Gemini 3 Flash Preview、Claude Sonnet 4.5 和 DeepSeek-V3.2 的评审评分与人类评审均分。
作者提出 SciValidityBench,一个可执行基准工厂,包含 64 个 TaskSpec,覆盖五个有效性模块和六个科学领域,用于检验科研智能体能否判断一条正确记住的证据在当前科学状态下是否可用于决策。
英国 AI Security Institute 的 Chem-Bio 团队以开放权重的 ESM-2 蛋白质语言模型为对象,从 8M 到 3B 参数从头预训练,测试剔除病毒蛋白数据能否压制目标能力。
OpenBMB 基于 PostTrainBench 分析 1338 条完整训练轨迹(7 个基准、4 个基础模型、Claude Code / Codex CLI / OpenCode,单张 H100 运行 10 小时),把智能体能力拆为执行与策略两层。
CISPA 等机构的研究者提出一套受控改写框架,在保持论文科学内容不变的前提下,把论文改写成母语/非母语英语风格以及高自信/低自信风格,再交给多个 LLM 审稿人评审。
入选理由研究用内容保持不变的改写实验量化了 LLM 审稿人对自信措辞的偏好,并给出可复用的压力测试框架。
大语言模型对东南亚语言的理解程度如何?今天上午 10:30,欢迎到 #EMNLP2026 Google 展台(#D5)参加 Shubham Mittal 的现场演示,了解 DEEPSEA——一个用于评估大语言模型在 12 种东南亚语言上表现的基准。阅读论文:https://arxiv.org/pdf/2610.26155v1
作者提出 Tampered ML 基准,包含 1,858 个条目对,每对由一篇已发表机器学习论文重构的实验方案与一个引入特定方法缺陷的最小改动反事实版本组成,模型需在两种呈现顺序下判断哪个方案方法上更可靠。
研究提出词级一元交叉熵(UCE)这一与分词器无关、无需模型的指标,衡量预训练语料与基准目标的词汇对齐程度。在覆盖 10 个零样本基准、4 个预训练语料和 3 种模型规模的受控从头预训练中,UCE 越低(对齐越高)的语料在各基准上零样本准确率越高。文档级筛选训练文档与提示级路由到领域最对齐的 drafter 均带来与机制预测一致的准确率与吞吐提升。
研究者提出 The Trinity 递归自我改进框架,通过 Creator、Explorer、Evolver 三个角色将世界生成与 Harness 演化耦合,并把任务树重组为分层能力树。
研究提出 Thinking-in-Bets,一种免训练方法:智能体在读取用户反馈前,先私下记录主要主张、支撑检查与置信度,被质疑时据此保留已验证的工作、只复查不确定部分。
EleutherAI 在 SOAR 项目下发布论文《Tracing Subliminal Learning Through Pretraining》,研究学生模型如何通过语义上无关的训练数据习得教师模型的偏好。
2026年度“求是杰出科学家奖”数学与物理领域获奖名单公布,王国祯、王虹、贾金锋、叶军4人入选。基于中国科学院近代物理研究所SIMM系统的新一代医用重离子加速器首台示范装置在广东惠州建成,已进入设备检测阶段,预计2026年底开展临床试验。一份未经同行评审的论文指出,美国STEM领域约30%的博士学位论文含AI生成文本,使用AI撰写论文的博士毕业生更可能进入工业界而非学术界。
字节 Seed 提出 Recycler,把上一 token 的顶层隐藏状态经轻量适配器与当前 token 嵌入相加后送入下一步,在保留离散 token 路径的同时增加一条连续反馈通路,自回归解码开销与标准 Transformer 大致相同。