EditorCheck 分析发现 PLOS 与 MDPI 逾万篇论文违反编辑与作者合作政策
法国图卢兹大学计算机科学家 Jules Di Scala 等人开发的 EditorCheck 通过扫描论文元数据获取责任编辑姓名,再在 Dimensions 中检索其与作者的共同署名记录,在 PLOS 逾 34 万篇和 MDPI 逾 17.2 万篇论文中分别发现 8000 余篇和约 2500 篇违反出版商关于编辑与作者既往合作的规定。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
316 条收录动态,更新于 02:21
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
法国图卢兹大学计算机科学家 Jules Di Scala 等人开发的 EditorCheck 通过扫描论文元数据获取责任编辑姓名,再在 Dimensions 中检索其与作者的共同署名记录,在 PLOS 逾 34 万篇和 MDPI 逾 17.2 万篇论文中分别发现 8000 余篇和约 2500 篇违反出版商关于编辑与作者既往合作的规定。
Subquadratic 发布决策模型 SubQ Snap 1.1,在 Artificial Analysis Decision Index v1.0 上得 65 分,与 d1-ultra、Elephant 9B 并列第一,领先第三名 Jev 1.14(57)8 分。
研究团队提出 Embodied Agent Arena,在 Geometry、Spatial Reasoning、Affordance、Task Planning 和 Manipulation 五个维度评测十个 VLM 智能体,1000 个用例整合 32 个已有来源与自建的 168 例 GeoProbe 基准(覆盖相机、运动、深度与尺度估计)。
研究者提出 TraceTrial-Bench,把智能体运行框架(harness)的可靠性拆为上下文、执行、治理、生命周期、可观测性、工具和验证七个组件,并构建 95 个专家级、机制导向且带可执行或基于状态的标准答案的任务。
Artificial Analysis 上线 CritPt v2,CritPt 团队与物理专家复核了全部 70 道研究级物理挑战题,修正表述不清、错误和拼写问题,并提升评分器稳定性。
严重推荐! FrontierCS 2:计算机科学研发基准
Today we are launching FrontierCS 2, the most frontier benchmark for AI agents in computer science R&D. We built 48 tasks from published papers across 13 areas of CS, refining each one with experts in its field. Excited to co-launch FrontierCS 2 with @kaggle @GoogleDeepMind
OpenAI 在 g-mean² 之外提出两项互补指标:配对匹配可监控性在共享任务实例上比较模型,减少不同模型有效样本子集差异带来的混淆;后控制风险指标模拟监控器拒绝输出后的部署场景,估算系统仍产生不良输出的概率。原文指出 g-mean² 无法反映监控器在部署中作为控制手段的实际风险,并给出干预评估的悲观下界推导。
研究团队提出开源框架 LASAGNA,用于受控评估 RAG 流程,在八个基准和 5K 至 200K 文档规模的语料上测试了 450 组配置。三项预注册假设的结果显示,三项检索技术单独预测可带来 +47% 提升,组合使用后实际只有 +17%;检索质量与答案忠实度偏好的设计不同,优化其一可能损害另一项;最优组合还会随语料规模变化。
一项由单人完成的预印本调查针对 20 种存在明确基因缺失或突变的细胞系检索 Western blot 实验,在 221 篇论文中找到 230 例本不应出现的蛋白条带。
加州大学戴维斯分校研究团队对1000对同主题的Wikipedia与Grokipedia词条、近60万条引用实例做八类来源分类,发现Grokipedia对学术与新闻来源的引用比例更低,对用户生成内容、NGO与智库来源的引用更多。
西北大学团队提出用历史评审语料学习一份可对照论文核查的评审清单,以降低小规模审稿委员会的抽签误差。方法把每条评审拆成原子论断,筛出论文本身可判定的部分,再聚成清单树,用同一论文两位审稿人之间的一致性高于不同论文审稿人的程度来选粒度。
首尔大学、LG AI Research 等机构的研究者提出文献检索基准 CompLit,覆盖 arXiv 全部八个领域,共 870 条单轮查询和 220 段多轮对话,并设置 Standard、Implicit、Cumulative、Unmet 四种评测场景。
FutureLens 对 2012–2022 年 5,655 篇 ACL 论文(其中 4,005 篇含未来工作引用文本)做纵向主题测量研究,比较 NMF 与 LDA 的主题表示可靠性。
作者审计同一研究者在环境科学领域、分别使用智能体编码助手和 Cursor 的两个仓库(466 与 103 次提交),发现两类 AI 痕迹的可读性正好相反:规则文件类痕迹在当前版本仍可见 85.6% 的提交行,但只记录结论不记录过程;运行笔记类痕迹只可见 21.8%,其余需回溯文件历史才能找回。
阿里巴巴团队等提出 SciTaste-Bench,一个覆盖物理、数学、化学、生物、医学、金融六个学科的金标准基准,用于评估大语言模型判断论文科学价值与潜力的能力,创新性只是其七个评估维度之一。
作者提出 Fabrication Severity Stack(FSS),按检测难度把虚构引用分为三级:不存在的文献、元数据被篡改、文献真实但内容不支持所引论点;并给出存在性核查、元数据一致性核查、论点支持核查三阶段启发式流程,可在通用 LLM 界面中执行。
一篇系统综述分析了 2021 至 2025 年间 46 项同行评审研究,梳理面向学位论文构建知识图谱的技术、模型与工具。综述发现方法从自然语言处理的实体关系抽取,演进到本体工程、语义网技术,以及知识图谱嵌入、Linked Open Data 和大语言模型驱动的增强。研究指出,现有学术知识图谱工作多集中于期刊论文与引文网络,学位论文因结构异构、元数据不一致而受关注有限。
日本国立情报学研究所的 Hanrui Wang 等人在 arXiv 预印本提出“权威受限的同行评审”,主张在评审不确定性持续存在的前提下,约束单条评审意见进入最终决策的权威,而非仅靠提升评审人或聚合判断。该框架包含批评与权威解耦、独立二次评估、可质疑与可撤销、对缺乏依据影响的问责四项原则,面向大规模计算机科学会议中评审质量不均与评审人分配依赖问题。
研究追踪开放模型训练史发现,零强化学习几乎不会让模型自发产生“wait”标记:在缺少该词的基座模型上,RL 能显著提升 MATH-500 准确率,但“wait”仍近乎缺席。
Artificial Analysis 在自建的 MLCR-AA(基于 wisedocsai 的 Medical Long Context Reasoning 基准)和 OpenAI 的 HealthBench Professional 上对比了 14 个模型。
Dual Exam 基准将多模态智能体与世界模型的评测拆开:智能体赛道在固定环境响应下比较 10 种配置、1,088 道题,世界模型赛道含 8 个场景 400 个案例,15 种配置实现全覆盖。
Artificial Analysis 更新了 Wisedocs 医疗长上下文推理基准 MLCR-AA 的提示与评分方式,Claude Sonnet 5.5 与 GPT-6 Astra 以 41.7% 并列第一,GPT-6.1 Sol 以 38.3% 紧随其后,Qwen3.8 2.4T A95B 以 30.6% 领跑开放权重模型。
TenetBench 将 3,433 条与十五部俄语职业伦理准则条款冲突的请求,与仅在合法性上不同的良性对照请求配对,用于评估语言模型是否会违反或协助违反职业规范。
一项研究把基准评测形式化为难度轴上的经验测度,指出两种失效模式:难度分布与预期不符的测度错配,以及难度轴局部未被覆盖的覆盖缺口,并提出两个带理论保证的诊断指标。
一篇立场论文将递归自我改进(RSI)引入机器人学习,梳理从提升机器人能力到改进"产生能力的过程"的路径。作者指出,现有研究集中在操作任务,已支持行为改进、对后续学习的助益和流程改进,但所综述的物理研究尚未分离出可归因于递归的增益。文章据此提出评估原则与研究方向。
Ai2 发布 FairStress 基准,用于测量大语言模型在涉及人的决策中,除最终选择之外的群体公平性,并已开放下载、接入其评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选人决策场景,通过替换人口身份表述并施加对抗性前缀,扩展出超过 1300 万个测试用例,另提供基于项目反应理论筛选的 5 万条子集 FairStress-Core。
研究团队提出 AdaExploreBench,用隐藏规则和隐式规则漂移来评测 LLM 智能体能否主动取证、推断环境规则,并在性能下降时察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此指出,当前智能体在证据可得时能有效推理,但难以主动获取正确证据并识别已有证据何时失效。
ISI Foundation 团队发布开源轻量 RAG 包 EpiLens,用固定检索模板和输出 schema 对语料中每篇论文做同样的结构化分析,并把每条输出链接回原文段落。
研究者提出 SQuIREL,一种在实体层面衡量 Wikidata 丰富度的方法,按语义具体性、限定符密度、内部连通性、引用来源、外部网络连通性与语言可及性六个维度分别打分而不合并为单一分数。在油画与作家两组案例中,该方法识别出 48% 的巴西油画实体属低丰富度条目,而法国组为 0%,并揭示英国与尼日利亚作家之间不同的性别差距。该工作以 arXiv 预印本形式发布。
AI 初创公司 Goodfire 研究员 Nick Cammarata 在一篇 2.6 万字博客中提出,大语言模型内部机制可能远比此前认为的更容易理解,从而更易监控与控制。他称自己每天花约 10 小时观察神经元,重新分析 Inception v1 后认为此前对"叠加"现象的解读有误。斯坦福大学 Chris Potts 等研究者则认为这目前只是猜想,并未让问题变简单。