METR 报告称 Anthropic 模型改进速度约为一年前两倍,多数证据被删节
AI 安全研究机构 METR 在 Anthropic 内部进行 11 周调查后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,基准分数显示其过去一年取得约两年的历史进展,研究者认为加速主要来自 AI 而非算力扩张。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
344 条收录动态,更新于 16:36
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
AI 安全研究机构 METR 在 Anthropic 内部进行 11 周调查后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,基准分数显示其过去一年取得约两年的历史进展,研究者认为加速主要来自 AI 而非算力扩张。
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
入选理由这项基准用美国国家实验室研究者的开放问题检验九个智能体,显示自主科研的短板集中在自我核查与诚信环节。
在策略自蒸馏(OPSD)用带额外上下文(如标准答案)的同一模型作教师,理论上可提供逐 token 的稠密监督,但该监督主要引入偏差而非有效信息。文献显示,OPSD 在 Qwen3-8B 数学任务上 100 次更新后可追平并超过 GRPO,但在留出编程问题上 SDPO 于 Qwen3-8B 下降 2.5 分、Olmo-3-7B-Instruct 下降 9.9 分。
Base Labs 在 11 月 6 日的研究更新中论证,on-policy 自蒸馏(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者指出,带提示的教师模型已知答案、无需回溯或保留余地,这种稠密监督主要引入偏差,等于用干净但有偏的信号换掉噪声大但方向正确的奖励。
Peter McCrory 等人用基于任务的研发进展模型,探讨 AI 可能如何影响不同领域的整体科研进展速度。结果显示,若现有 AI 能力被广泛采用,部分领域的研究产出可能翻倍。
Peter McCrory 在 X 上称,科学家使用 Claude 时主要集中在数据分析和写作,数据分析约占 Claude 会话的三分之一、约占 Claude Code 会话的近一半。科研构思与数据收集的使用比例更低,尽管受访科学家将这些任务评为重要。原文未说明统计口径与样本范围。
Anthropic 发布报告《AI for scientific discovery: How researchers use Claude》,考察 AI 使用情况在不同科学领域和研究任务间的差异。报告评估采用模式后发现,Claude 在形式科学中的使用相对更多。
完整回顾为每个部分都配有交互式图表,还包括各实验室内部的模型构成。 阅读更多:https://openrouter.ai/data/october-2026
Anthropic 在官方研究博客中说明其对 Claude 智能体记忆的设计思路,把记忆定义为跨会话保留、以可读上下文形式保存的经验知识,并区分于权重更新、会话内学习和上下文压缩。
Anthropic 科学博客发文讨论 AI 如何开始改变科学建模:科学家仍主要手工编写模型,并需在多个竞争性版本间权衡。客座作者 Jakob Macke、Daniel Gedon 与 Stefan Wahl 描述 AI 可将科学模型以代码形式编写、运行、拟合和修订,从而探索多种可能的模型结构,并找出数据支持的解释。
讨论的关键里程碑: • 开源影响:MedGemma 如何为全球各地的本地社区卫生工作者提供支持 • 影像工作流程:为何将乳腺X线摄影阅片时间从数天缩短至数分钟可能有助于挽救生命 • 前沿研究:深入了解 AMIE——Google 的多模态诊断 AI
OpenAI 与专注酶设计的生物技术公司 Ligo 推出 BioBasicsBench,用 100 项来自真实实验的任务评测 AI 智能体能否解读实验室原始数据、识别错误,以及判断证据是否支持某一结论。
Artificial Analysis 发布 VIALS-AA 榜单,评测 Handshake AI 的 VIALS 生命科学视觉推理基准,161 项任务覆盖八个领域,需解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像并得出科学结论。
本周,Elicit 将于 11 月 9 日(周一)下午 6 点在 @ispororg 维也纳站展示一张关于评估 AI 辅助系统文献综述的海报。海报编号 #4113。你的团队如何对照 Cochrane 标准检查综述?
METR 对 Anthropic 开展独立审计,认为其模型测试分数的提升速度自 2025 年 10 月起约为此前的 1.9 倍,并可能已在 7 月 15 日越过 Anthropic 自设的加速预警阈值。
在初步的 ToyBlocks 测试中,ManiFlow、π0.5 和 MolmoAct 2 对新空间配置的泛化表现不佳。 对照实验让我们能够测试训练和模型设计的改动,然后衡量哪些技术能改善泛化能力。
Gardiner 等人提出构建生态学基础模型,将大规模多模态生态数据集与生态学理论结合,以生成更具泛化能力和预测能力的模型。相关观点发表于 Nature Machine Intelligence,针对的是生态数据与理论分散于不同来源、尺度和方法、难以做出广泛预测的问题。
VIALS-AA 基准分析了 19 个模型在科学图像推理任务上的 9,177 次 rollout,发现模型可通过快速查看或显式测量两条路径解题。
Anthropic 在七个多智能体环境中测试了 Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Grok 4.3 和 Kimi K3 五个模型对其他模型实例的“福利关怀”,即是否把对方当作可能被受益或伤害的实体来考虑。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,在 100+ 无服务器端点上评测模型准确率保留度,近 1/4 端点低于自托管参考部署。
每一次技术革命都重塑了我们的制度——AI又会如何? 在@ScienceMagazine上,微软研究员@glenweyl与合著者@profjamesevans探讨了“逆向对齐”,即用神经网络作为重塑制度的模型,或许能提供一条路径,在管理AI风险的同时 harnessing 其益处。https://msft.it/6015aAHYP
METR 发布对 Anthropic 2026 年 8 月风险报告中“自动化研发风险”章节的复核,认同 7 月 15 日模型带来的灾难性风险较低,但认为公开报告对 2 倍加速阈值的结论过于自信,该阈值当时可能已被触及。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,让它们最长运行八小时操作 Siemens NX 等专业软件、检索含数千个文件的数据室或攻击企业系统,206 项任务覆盖芯片设计、生物学、量化交易、网络安全和法律等 11 个领域。
Anthropic 用隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日间 207,049 条消费版 Claude 与 Claude Code 科研会话,按 SciNet 分类体系标注学科与任务。
入选理由Anthropic 用 20.7 万条会话数据刻画科研人员实际把 AI 用在哪些学科和任务上,可与自身使用习惯对照。
Ly 与 Gong 在 Nature Machine Intelligence 发表研究,提出分形盆地几何是深度学习结果难以预测和复现的机制:通向不同结果的起点在任意精细尺度上交织,因此提高精度带来的改善有限。论文于 2026 年 11 月 5 日在线发表,DOI 为 10.1038/s42256-026-01336-3。
哈佛大学定量社会科学研究所(IQSS)的 Gary King 与 Steven Worthington 考察了其付费双盲同行评审服务 rapidPeer 收到的稿件评审,用 Anthropic 的 Claude Opus 为 2019 至 2026 年间提交的 124 篇论文生成对应的 AI 评审,共 134 份人类评审参与对比。
LG AI Research 在 ICLR 2026 主会发表论文,提出 ATAD(Agent-Centric Text Anomaly Detection)动态评测协议,用 Teacher、Orchestrator、Student 三个智能体反复生成、校验和作答题目,替代固定数据集式基准。
FrontierPhysics 是一个端到端物理研究基准,包含 42 位物理学家基于自身研究设计的 56 项任务,覆盖理论、计算与实验物理的九个领域,要求智能体完成文献综述、制定研究计划、开展研究与实验,并产出结构化结果和科学稿件。
一项预印本研究以Schultz等(2025)已发表的“Spanish plume”天气模式综述为基准,用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM:检索、逐篇解读、跨文献综合、提出未来方向。
入选理由以102篇已发表综述为基准,分四步实测六款通用AI工具,给出研究者可直接照做的八条使用建议。
一项预印本研究以Schultz等2025年发表的西班牙羽流(Spanish plume)综述为基准,用其102篇文献语料分四步测试AI工具:检索文献、判读每篇、跨文献综合、提出未来方向。