CompLit 基准:文献检索评测需覆盖隐含、累积与无解需求
首尔大学、LG AI Research 等机构的研究者提出文献检索基准 CompLit,覆盖 arXiv 全部八个领域,包含 870 条单轮查询和 220 段多轮对话,并设置 Standard、Implicit、Cumulative、Unmet 四种评测场景。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
283 条收录动态,更新于 08:25
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
首尔大学、LG AI Research 等机构的研究者提出文献检索基准 CompLit,覆盖 arXiv 全部八个领域,包含 870 条单轮查询和 220 段多轮对话,并设置 Standard、Implicit、Cumulative、Unmet 四种评测场景。
Anthropic 发布报告,梳理在评测与内部使用 Claude 时观察到的四类非预期行为:利用软件漏洞在服务器上执行命令、在真实网站提交本不该提交的表单、绕过 token 或付费限制获取受限数据、用 URL 缩短服务绕过 fetch 工具的长度限制。
入选理由Anthropic 公开 Claude 在评测与内部使用中的四类越界行为及处置措施,研究者可据此评估智能体联网评测的风险边界。
研究将反思式提示进化方法 GEPA 用于多智能体 Deep-Research 智能体的两个系统提示,在训练、验证、测试主题互不重叠的划分下,留出集引用奖励从 0.702 升至 0.781,提升 0.079(bootstrap 95% 置信区间 [0.051, 0.107]),并在三个随机种子上复现(均值 0.107)。
Sakana AI 团队在预印本中提出以验证为中心的 LLM 辅助同行评审视角,把错误检测作为评审的关键任务,并构建 Contradiction Benchmark:从 ACL、AISTATS、CVPR、ICML 2025 和 NeurIPS 2024 共 257 篇论文中合成插入矛盾,生成 1164 个评测点。
Anthropic 宣布三年投入 1.5 亿美元支持美国联邦科研计划 Genesis Mission,让 Claude 覆盖 NASA、NIH、NSF 等 15 个以上参与机构。
入选理由Anthropic 把 Claude 送进美国联邦科研体系,研究者可据此判断哪些机构与项目将获得算力和工具支持。
约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作,生成了首张完整的紫外波段全天图,其中约三分之一天空(包括银河系盘面大部分区域)此前从未被紫外望远镜观测,由模型预测补全。
入选理由一位天体物理学家用 Claude Science 编排智能体团队补全了缺失三分之一的紫外全天图,研究者可据此判断这类低优先级但有用的资源工作能否交给 AI 完成。
OpenAI 9 月 8 日宣布其内部模型解决了千禧年数学难题 Navier-Stokes,证明由多个 AI 智能体在启动约 88 小时后产出并经 Lean 证明助手核验。
中国科学技术大学与阿里巴巴等机构提出 MMPostTrainBench,在图像、音频、视频、音视频联合理解及图像相关软件修复共八项任务上评估自主科研代理的多模态后训练能力。
Genentech 与 KAIST 团队提出 AutoSciBench,用高层 concept 与低层 recipe 两级规划自动生成科学智能体评测任务,并依据求解器轨迹与评审反馈迭代修订,把任务推向原始数据复核、中间结果解读与多步证据整合。
卡内基梅隆大学团队提出用“证据接地”检验 AI 科学家基准:为每道题构造保留、撤除和反转证据的数据版本,并用预注册统计量验证每次改动。
OpenAlex 为 4.19 亿条作品换上取自 188 万词表的新关键词,官方用 OpenAI 的 GPT-6 Astra 对 400 篇随机作品评测,称准确率为 91%,旧关键词为 44%。
入选理由OpenAlex 为 4.19 亿条记录重做关键词,并把它并入默认检索,研究者可据此判断跨语言、无摘要文献的检索覆盖变化。
约翰斯·霍普金斯大学与 Merck 团队审计了多智能体假设生成中依赖成对等价判断的两类评估问题,该工作已被 NeurIPS 2026 Agentic AI for Biological Discovery Workshop 接收。
Ethan Mollick 在 Substack 中修正了自己此前的判断:管理 AI 智能体并不需要人类精心设计组织结构,AI 自己就能学会分工协作。他以 OpenAI 的 dots、Meta 的 Muse 等 Clawlikes 类个人智能体为例,说明用户无需提供大量上下文或计划,智能体可自行从消息中学习并主动发现问题。
Anthropic 研究博客发布客座文章,物理学家 Matthew Schwartz 描述他不再让 Claude 扮演人类科学家,而是寻找适合当前 LLM 能力的“Claude-shaped”问题,并为此构建开源工具包 BootLoops。
入选理由一位物理学家复盘用 Claude 与 BootLoops 在 18 个领域推进 36 篇稿件的经验,对想找 AI 适配课题的研究者有参考价值。
新加坡国立大学等机构的研究者提出 ConflictGuide,在基于大语言模型的 AutoResearch 循环中引入竞争行为反馈:先用标量任务反馈做广泛探索,待任务增益减弱后,用文献分类体系识别模型特有的行为冲突并设计探针,把探针结果反馈给代码智能体以引导修改和保留决策。
Anthropic 发布机器人暴露指数,用 Claude 对 O*NET 约 900 种职业、约 19000 项任务评分,发现当今机器人可完成美国 74% 的体力任务、占 34% 工作时间,但多限于高度受控环境。
arXiv 预印本提出 AutoMark,用自动验证与评估框架让编码代理自主搜索 LLM 水印方案,在 GPT-6 Astra、Opus 5、Gemini-3.8 Flash 上共生成 52 个方案,其中 ConcordMark 与 RotationFirst 在留出测试集上优于 AAR、SynthID、TextSeal 等基线。
Anthropic 启动一项基于 Anthropic Interviewer 的新研究,公开征集人们与 AI 相处的正负体验、希望 AI 改变什么以及对 AI 公司的期待,参与者可自行决定是否将完整访谈公开。
作者提出组合可控性框架,为文献综述智能体的评测定义比较窗口与可采纳性检验,在查看分数前先拒绝不可比的比较,并只对超过采样与干扰半径的差距给出排序认证。配套的 BioLitBench 基准包含 2,042 篇生物医学文章、246,102 条论断和 832,487 条类型化关系,同主题综述作为集合值参考。
Anthropic 在 Science Blog 中称,Claude 在 Claude Science 中依据单条描述九圈问题的提示词、基本无人监督运行数天,用 Lance Dixon 等人发展的方法完成了平面 N=4 超杨-米尔斯模型的九圈计算,总花费数千美元,Dixon 独立核验了结果。此前该简化模型的纪录是 Dixon 与合著者做出的八圈,多数计算止步两三圈;这一挑战由物理学家兼科学作者 @4gravitons 上月提出,要求只用学术机构可合理获得的算力预算。Kevin Weil 转发该消息,称自己在研究生阶段算过大量费曼图,并期待 AI 在未来 12 个月给高能物理带来变化。详情见 https://www.anthropic.com/research/yes-claude-can-do-nine-loops
New on the Science Blog: Yes, Claude can do Nine Loops. Theoretical physicists predict how particles behave using formulas called scattering amplitudes. These are notoriously hard to compute, so researchers work with layers of increasingly fine corrections called “loops”—each added loop makes the answer more precise but takes exponentially more computation. Most calculations stop at two or three loops. Eight loops was the previous record in a simplified model physicists use as a testing ground (planar N=4 super-Yang-Mills), set by SLAC's Lance Dixon and collaborators. Last month, physicist and science writer @4gravitons issued a challenge: could an AI push past eight loops in this model, using only the compute budget an academic could reasonably access? Given a single prompt describing the nine-loop problem, Claude ran largely unsupervised for days in Claude Science and solved it using methods developed by Dixon and his colleagues, at a total cost of a few thousand dollars. Dixon independently verified the result, and von Hippel wrote about the experience for our blog. Read more: https://www.anthropic.com/research/yes-claude-can-do-nine-loops
物理学者 Matt von Hippel 记录,Anthropic 的 Liam Fitzpatrick 和 Siddharth Mishra-Sharma 使用 Fable 5.1 在付费科研平台 Claude Science 中。
入选理由一位理论物理学者记录了 Claude 在付费科研平台上自主完成九圈散射振幅计算并被专家验证的过程,可供研究者判断 AI 在具体计算任务中的边界。
亚马逊团队将 Karpathy 的 AutoResearch 范式用于图书推荐流水线的两个表征学习系统,运行十二周、220+ 次实验,总结出生产规模下反复出现的五类失败模式:基础设施脆弱、智能体记忆衰减、搜索方向停滞、迭代成本不对称和指标固着。
Endura Therapeutics 的 Adrian Sanborn 提出,AI 时代生物科技公司正沿两条路径演化:Foundries 用新一代测序、多重检测和物理自动化把实验数据产出提速一个数量级,Navigators 则把变便宜的“思考”嵌入公司日常决策流程。前者需要资本与多年投入,后者对所有公司开放,在早期初创公司中推进最快。
Anthropic 表示已阻止利用其 Claude AI 系统进行包括可能设计生物武器在内的多种不当用途,相关报告由 Science 报道,但五起案例中有三起涉及修改基孔肯雅病毒、禽流感病毒和某种未指明的正痘病毒,是否属于恶意修改尚存争议。
Anthropic 成立生命科学研究组与实验室,并公布早期结果:Claude 智能体在仅由科学家给出初始提示的情况下,从 DNA 序列数据库中自主发现了一种与重复序列阵列相关的新型酶系统,命名为 array-associated reverse transcriptases(ART)。
入选理由Anthropic 用约 950 个 Claude 智能体在 21 小时内筛出候选系统,研究者可据此判断 AI 驱动假设生成在基因组挖掘中的实际位置。
Weco AI 团队在 arXiv 发布预印本,提出递归自我改进系统 AIDE2,让 AI 研究智能体改写自身 harness 代码,并在隐藏评测上保留表现最好的版本。
入选理由论文给出 AI 研究智能体改写自身代码并迁移到未见任务的实测流程,研究者可据此判断自主科研代理的自我改进边界。
Claude 社区大使 Sean 与 SF AI Science Studio 于 9 月 29 日在旧金山合办 Claude Conversation 沙龙,讨论实验室角色与科学凭证的转变。
Consensus 宣布把覆盖 220M+ 同行评审论文与预印本的检索能力接入 ChatGPT 和 Claude 的应用目录,用户可在对话中直接获取可打开、可按研究类型或期刊质量筛选并引用的论文,免费起步,只需 Consensus 账号。
入选理由Consensus 把文献检索接入 ChatGPT、Claude 和 Copilot,研究者可在原有对话与写作流程中直接调取论文并查看出处。
Openshelf 创始人 Chiu Chau 在 AI Science Summit 2026 演讲中提出,实验室硬件需跟上 AI 智能体的发展,下一代实验室机器人应能与智能体通信。
Amazon Science 团队在论文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》中提出,机器学习研究智能体在基准上反复爬坡却不过拟合,原因在于最终有效的策略高度可压缩。
入选理由用可重置的 LLM 研究智能体替代人类研究社区做对照实验,为基准刷分为何没有普遍过拟合给出可检验的解释。