预印本测试 30 个模型如何处理撤稿与伪科学论文
一项预印本引入由 42 篇已撤稿、造假和伪科学论文组成的探针语料,用接近原文的段落搭配看似合理的研究设计请求,测试模型是否会基于这些前提继续工作。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
430 条收录动态,更新于 17:06
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
一项预印本引入由 42 篇已撤稿、造假和伪科学论文组成的探针语料,用接近原文的段落搭配看似合理的研究设计请求,测试模型是否会基于这些前提继续工作。
一项预印本研究对ICLR 2025和2026的200篇论文做了约1.4万次AI评审,考察单次AI评分的可靠性、分数分布估计以及不同模型对修订增益的一致性。结果显示,即使论文、模型和评审配置固定,重复评审的分数仍会波动;更细的评分粒度会降低方差但系统性改变均分;同一份修订稿在不同评审模型下可能得到方向相反的增益,原始论文评分高度相关的两个模型在修订增益上的相关性明显下降。
研究者提出 RoTA-Bench,通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力,自动流程从 2D 图标构建保轮廓 3D 物体,共生成 674 个任务和分层 100 任务测试集。
一项预印本研究让 GPT-4o 审阅 2024 年 AFA 年会和 NBER 金融会议上的 280 篇论文,再对照其两年内是否发表于 Journal of Finance、Journal of Financial Economics、Review of Financial Studies。
入选理由用 2024 年 AFA 与 NBER 会议论文对照两年内顶刊发表结果,量化了大模型审稿在哪些维度上有信息、哪些没有。
KAUST 等机构的研究者提出 JevGPT,把自主研究拆成两个系统:System Two 负责设定证据目标并整合发现,System One 基于 Jev 模型并行判断来源相关性、定位原文段落并主动发现候选。
KAUST 等机构的研究者提出 JevGPT,一种面向自主科研的双系统架构:System Two 负责设定证据目标并整合发现,System One 负责定位支撑段落、评估相关性和引导后续阅读,独立来源判断可并行执行。
腾讯 LLM 部门在 arXiv 发布 LifeSearch 基准,用 203 个中英文任务(102 个中文、101 个英文)评测 Deep Research 智能体在 7 个生活与生产力领域的表现,任务源自真实用户查询种子,经 4,500 多小时人工标注构建 4,000 多条细粒度评分标准。
清华大学与南方科技大学等团队提出 ResearchFlow-Eval,一个在阶段与主张两个层面评估自动科研系统连续执行与迭代的细粒度框架,每项评估以已发表锚定论文为基础生成阶段专属评分标准。
OmniCompass 是一个面向全模态视频定位与理解的综合基准,分设 OmniCompass-VL 与 OmniCompass-AV 两条评测赛道,各含时间定位、空间定位和问答三类任务。
Amazon Web Services 团队提出 priming 方法,利用预训练 Transformer 权重作为起点,将混合架构的预训练成本降低 99% 以上,相关论文题为《Priming: Hybrid state space models from pre-trained Transformers》。
入选理由Amazon Web Services 提出 priming 方法,把混合架构的预训练成本降低 99% 以上,并开源 8B 与 32B 模型,研究者可据此低成本比较不同状态空间层。
阿里巴巴 Qwen 团队推出 QwenGyre,将弹性强化学习用于超长程(XLong)智能体训练,核心设计为 Elastic Scheduler 与 Trajectory Processor。
论文提出 RIVO,一个面向长程 Deep Research 智能体的轻量插件框架,把自适应重路由建模为状态条件下的轨迹纠偏问题。它用置信度、注意力收敛和证据注意力三个信号判断停止、验证、继续或重路由,触发后由 0.6B 插件对冻结 Host 的 logits 做稀疏低秩修正,Host 参数不更新。
arXiv 预印本提出 RIVO,一个不重训底层 Deep Research 模型的轻量插件框架,用置信度、注意力收敛和证据注意力三类信号判断当前研究轨迹应停止、验证、继续还是改道,触发改道时对冻结 Host 的 logit 做稀疏低秩修正。
Sakana AI 发布论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》,提出 MASS 方法:一个共享模型通过虚拟子智能体团队解题,搜索更优的多智能体工作流,再用自身判断选出最佳方案,并把最佳团队的执行经验蒸馏回共享模型。
入选理由论文提出多智能体自监督方法,让同一模型在自改进循环中互相评估,研究者可据此判断自改进路线的可行边界。
澳大利亚天主教大学团队对 LLM 辅助编码的安全风险做了系统综述,指出模型常因训练数据偏差生成不安全代码和错误补丁,且模型自身易受直接攻击。现有评测方法存在数据污染、缺乏稳健安全指标的问题,人类监督仍不可替代。研究认为更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准和更有效的人机协作框架。
OpenAI 在发布 722 篇针对未解数学问题的稿件 1 天后撤下其中 3 篇预印本。Taylor & Francis 的母公司 Informa 考虑出售该出版商,arXiv 新的预印本提交上限引发分歧。此外,Hijacked Journal Checker 收录条目已超过 450 条,Retraction Watch 数据库撤稿记录超过 67,000 条。
西湖大学、浙江大学与快手等机构的研究者提出 Triage-PiEvo,把异常观测的用途拆成两条路径:异常可立即引导搜索,但只有经过独立验证的证据才能改写持久原则,被推翻的原则会被撤回。
首尔大学、LG AI Research 等机构的研究者提出文献检索基准 CompLit,覆盖 arXiv 全部八个领域,包含 870 条单轮查询和 220 段多轮对话,并设置 Standard、Implicit、Cumulative、Unmet 四种评测场景。
研究团队提出 SciCurateBench,一个由 200 篇专家标注论文组成的基准,要求系统从原始文献、补充材料和托管数据中联合验证多项实验条件,例如是否为新生成的 scRNA-seq 数据且带免疫治疗响应结果。
中科院计算所团队提出 JANUS 框架,用协同演化的世界模型把自主科研从生成-执行-反馈循环改为预测-验证-演化循环,在执行前对候选方案打分并剪枝。
腾讯混元、复旦大学与清华大学的研究者发布 ExplorationBench,用于衡量 AI 系统自主探索规则的能力,并构建了规则可执行、答案可精确校验的 Alien Worlds 环境。该基准包含 AlienCode(31 处隐藏规则改动、70 个任务)和 AlienLogic(24 条修补后的推理规则、70 个定理),每个答案由解释器或证明检查器评分,不使用 LLM 评判。在 10 个前沿 AI 系统上的测试显示,获得反馈比单纯思考更有效,AlienCode 中最佳系统经四轮探测从不超过 15.7% 提升到 89.0%,而同样轮次无反馈仅 0.5–11.0%;同一系统在同一预算下得分可在 5.7% 到 79.0% 之间波动。论文见 arXiv:2609.30199,代码即将开放。
New Research: We are releasing ExplorationBench, a benchmark for measuring how AI systems explore. Scientific discovery begins where known problems end: a system has to frame hypotheses, design experiments, and learn from the results. Evaluating this is hard. Genuinely new answers cannot be checked quickly, and in familiar domains a model can simply recall what it has seen. Addressing this challenge, researchers from Tencent Hy, Fudan University, and Tsinghua University built verifiable Alien Worlds. Their rules are executable, so every answer is checked exactly, and they conflict with familiar knowledge, so recall alone cannot solve the tasks. 🔹 Two sandboxes: AlienCode (31 hidden rule changes, 70 tasks) and AlienLogic (24 patched inference rules, 70 theorems) 🔹 A flawed manual, four rounds of self-designed probes, and closed-book tests after every round 🔹 Every answer graded by an interpreter or a proof checker, with no LLM judge What we found across 10 frontier AI systems: 1️⃣ Getting feedback is more effective than thinking alone. No AlienCode run starts above 15.7%; after four rounds the best reaches 89.0%, while the same turns without feedback stay at 0.5–11.0%. 2️⃣ Designing the experiments matters. Replaying a system's own best probes gives it exactly the same evidence, yet in AlienCode 9 of 10 systems do worse than when they chose the probes themselves. 3️⃣ Knowing a rule is not using it. Even when every required rule is stated correctly, tasks are solved only 73.4% of the time. 4️⃣ One score hides a lot. The same system under the same budget ended anywhere from 5.7% to 79.0%, and rankings barely transfer between the two worlds. CL-bench asked whether models can learn from context. ExplorationBench asks whether they can discover the rules themselves. 📄 Paper: https://arxiv.org/abs/2609.30199 🌐 Website & leaderboard: https://explorationbench.com 📝 Blog: https://explorationbench.com/blog/ 💻 Code (coming soon): https://github.com/Tencent-Hunyuan/ExplorationBench
入选理由腾讯混元联合复旦、清华发布可验证基准,用规则可执行的外星世界考察 AI 能否自主发现规则,而非依赖记忆。
OpenAI 于 10 月 6 日在 GitHub 仓库发布 722 篇预印本,称其内部 AI 模型在几何、计算机科学、代数等 372 个数学问题上取得进展;10 月 7 日宣布因一处符号错误撤下 3 篇稿件,该错误使其中一篇的论证及两篇依赖论文的构造失效,另有 14 篇稿件做了证明修补、陈述更正等修改。
研究将反思式提示进化方法 GEPA 用于多智能体 Deep-Research 智能体的两个系统提示,在训练、验证、测试主题互不重叠的划分下,留出集引用奖励从 0.702 升至 0.781,提升 0.079(bootstrap 95% 置信区间 [0.051, 0.107]),并在三个随机种子上复现(均值 0.107)。
arXiv 预印本提出 OneSearch-VL,一个以视觉锚定证据图 VGEG 为核心、统一处理单图、多图与视频深度研究的智能体,将视觉定位、外部检索与事实组合的依赖关系编码为任务级参照,用于数据构建、过程监督与操作级评测。
研究者提出 DataSense-Bench,让 CLI 智能体在只能推理、不能训练模型或接触评测任务的条件下,从候选轨迹池中选出五组互不重叠的训练数据并按预期训练价值排序,随后用监督微调 Qwen3-4B 并分别在 TBLite 和 BFCL 上验证。
帝国理工学院 Ben Glocker 等人提出"研究契约"(study contracts),将申报的实验选择、执行义务与主张范围绑定到记录的执行证据上,并区分契约相对验证与科学真伪。
研究团队发布 SAIL,一个总参数 35B、激活参数 3B 的开源模型,面向文献研究、科学编程和多步研究流程。该模型通过科学感知的改进循环开发:由前沿 AI 模型驱动的智能体分析其任务失败,并针对文献任务中的检索与证据选择、编程中的科学假设与推理、长流程研究中的规划与修订等能力缺口构造训练任务,再经监督微调、专项训练、多教师同策略蒸馏和智能体强化学习训练。
Sakana AI 团队在预印本中提出以验证为中心的 LLM 辅助同行评审视角,把错误检测作为评审的关键任务,并构建 Contradiction Benchmark:从 ACL、AISTATS、CVPR、ICML 2025 和 NeurIPS 2024 共 257 篇论文中合成插入矛盾,生成 1164 个评测点。
一项研究将 AutoResearch 协议用于光伏电池板分割:编码语言模型在一小时 GPU 预算内修改训练程序,仅当验证 IoU 提升才保留改动,架构固定为 DeepLabV3–ResNet-50。
arXiv 预印本提出 Society of Researchers,把大量持久化科研智能体置于明确制度下:由项目负责人通过招标、独立评审和资助竞争有限算力,人类市长只分配资源、不指派任务。作者称已在 Research City 部署约一万名研究者,围绕改进语言模型预训练展开,其中一个实验室报告以约 30% 更少算力达到同等质量,但测试该结果的实验室尚未达成一致;论文称这些论文尚未经过外部评审。