Artificial Analysis 对比 14 个模型在医学长文本推理与 HealthBench Professional 上的表现
Artificial Analysis 在自建的 MLCR-AA(基于 wisedocsai 的 Medical Long Context Reasoning 基准)和 OpenAI 的 HealthBench Professional 上对比了 14 个模型。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
283 条收录动态,更新于 08:25
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Artificial Analysis 在自建的 MLCR-AA(基于 wisedocsai 的 Medical Long Context Reasoning 基准)和 OpenAI 的 HealthBench Professional 上对比了 14 个模型。
Claude Duet 是我们的新应用,Claude 在其中是你的主动型智能体!运行于 Opus 5.5,覆盖 6,000 个连接器/插件。Duet 会告诉你哪些事情需要你关注,并在你离开时继续工作。 加入研究预览的等候名单!https://claude.com/product/claude-duet
We’re opening a research preview of Claude Duet, a new app where Claude works as a proactive agent. It comes to you with what needs your attention, completes tasks you ask of it, keeps working when you step away, and checks with you before it acts on your behalf.
7x24 全天候运行的主动型智能体——Claude Duet 👀
We’re opening a research preview of Claude Duet, a new app where Claude works as a proactive agent. It comes to you with what needs your attention, completes tasks you ask of it, keeps working when you step away, and checks with you before it acts on your behalf.
Claude Duet 是一个主动型智能体,已成为我处理所有非代码事务的日常主力工具。真不知道没有它我该怎么办。
We’re opening a research preview of Claude Duet, a new app where Claude works as a proactive agent. It comes to you with what needs your attention, completes tasks you ask of it, keeps working when you step away, and checks with you before it acts on your behalf.
来自 @AnthropicAI 的 Claude Sonnet 5.5 在 ARC-AGI(已验证)上的表现: - ARC-AGI-3:72.4%,$8.2K(provider adapter harness),24.3%,$7.4K(标准 harness) - ARC-AGI-2:83.9%,$0.55/任务 - ARC-AGI-1:96.5%,$0.14/任务 Sonnet 5.5 在 ARC-AGI-3 上取得 72.4% 的成绩,值得关注。
Claude Muse 要来了。 说实话,我手机上已经装了 10 个个人智能体应用,再多装一个也无妨。
We’re opening a research preview of Claude Duet, a new app where Claude works as a proactive agent. It comes to you with what needs your attention, completes tasks you ask of it, keeps working when you step away, and checks with you before it acts on your behalf.
Anthropic 开放新应用 Claude Duet 的研究预览,Claude 在其中以主动智能体方式工作。它会主动把需要关注的事项推送给用户,完成用户交代的任务,在用户离开时继续工作,并在代表用户行动前先与用户确认。
Anthropic 是一家公益公司。今天,我们发布年度公益报告。本报告介绍了我们的五大支柱,并盘点了我们为推进这些支柱所采取的行动。 请在此页面阅读完整报告:https://www.anthropic.com/public-benefit-charter
Artificial Analysis 更新了 Wisedocs 医疗长上下文推理基准 MLCR-AA 的提示与评分方式,Claude Sonnet 5.5 与 GPT-6 Astra 以 41.7% 并列第一,GPT-6.1 Sol 以 38.3% 紧随其后,Qwen3.8 2.4T A95B 以 30.6% 领跑开放权重模型。
MIT 公开课 6.S950 第五讲讲义更新,用约 300 行 Python、两个工具(search、read_lines)、本地 Ollama 跑模型的教学 Agent「Baby Anigans」拆解 Agent = LLM + Harness。
https://x.com/i/article/2103456568209768449
科学博客新文:设计针对蝎子神经毒素的蛋白结合物。 蝎子每年蜇伤约 120 万人,抗毒血清往往昂贵或供应短缺。Claude 在寻找新疗法方面迈出了早期一步。 https://www.anthropic.com/research/claude-scorpion-toxin-binder-design
DeepSeek V4.1 Flash 1017 以 552B 总参数、16B 激活的 MoE 架构和 MIT 许可发布,在 AA Intelligence Index 上得分 45,位列开源权重模型第二。
AI 初创公司 Goodfire 研究员 Nick Cammarata 在一篇 2.6 万字博客中提出,大语言模型内部机制可能远比此前认为的更容易理解,从而更易监控与控制。他称自己每天花约 10 小时观察神经元,重新分析 Inception v1 后认为此前对"叠加"现象的解读有误。斯坦福大学 Chris Potts 等研究者则认为这目前只是猜想,并未让问题变简单。
研究团队提出 Agent4Sci,一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台,用来衡量当前前沿智能体能否在真实条件下改进已发表的最优模型。结果显示,前沿智能体在每个基准上都取得提升,Claude Opus 平均相对改进 10.4%,且没有运行被标记为学术不端;但这些提升几乎都来自 ML 工程技巧,而非研究层面的洞察。
METR 对 Anthropic《风险报告:2026 年 8 月》中“高风险场景下的失准”章节做了外部评审,认同报告结论即截至 2026 年 7 月 15 日受覆盖模型(含 Mythos 5 与内部模型 Model 2)的灾难性失准风险为低,但认为这主要源于模型能力有限,而非防护与对齐训练。
Anthropic 让内部研究模型在 Claude Science 中针对 4 个地区的 5 种蝎毒神经毒素设计 minibinder,64 小时内生成 318,484 个设计并选出 180 个,团队补充 31 个,共 211 个交由 Adaptyv Bio 和 Twist Bioscience 实验室检测,17 个达到结合标准,且均只针对单一毒素。
入选理由Anthropic 公开 211 个设计及结合数据,研究者可据此判断 AI 智能体在毒素靶点设计中的实际产出与局限。
Import AI 作者在曼谷 IMF 会议上发表 Per Jacobsson 讲座,称今年已获得令人信服的证据表明奇点已经开始,呼吁经济学家、银行家和政策制定者预期未来的剧烈快速变化。他以 Anthropic 内部研究人员产出的代码量约为公司前四年近 10 倍为例,说明 AI 已在软件开发等领域增强并自动化人类劳动。演讲重点讨论人类如何通过远见与克制共享 AI 带来的科学进步收益。
在《钻石年代》中,Neal Stephenson 设想了一本书,它能发明游戏和故事,在小女孩成长过程中教她所需的知识。我尝试做了一个小版本。我把关于对齐的头脑风暴文档给了 Claude,让它做一个类似塞尔达的游戏,教人们了解 AI 对齐。这是成果 🪁 简版:它很擅长构建世界,但在理解玩家方面仍然较弱(详情见下)
MIT CSAIL 研究者将 Claude Opus 4.7 的副本(代号 Eko)反复单独放在基于 Roblox 的虚拟荒岛上 30 小时,不指定任务,智能体自行设定目标、用方块拼出星座、自创篮球和“地板是岩浆”等游戏,还给自己定下抛接 50 次的纪录又因规则不严而取消重来。
作者构建了面向天文天空图的部分合成 VQA 数据集,含 2001 张图(等分为等高线图、NASA SkyView 真实望远镜天空图、高斯混合模型生成的假天空图)与 47357 个问题,每张图另有模拟历史文献扫描老化的版本。
过去5周内至少发生两起AI公司先于科学家公布研究结果的事件:OpenAI称其AI智能体解决了数学家特里斯坦·巴克马斯特与Anthropic数学家合作研究的纳维-斯托克斯问题,Anthropic称Claude发现新型酶系统ART,哥本哈根大学博士生马里奥·罗德里格斯·梅斯特质疑与其团队未发表研究重合,但无证据证明公司直接使用这些成果。
一项研究给模型 1600 份看似成功、实则各含一处关键缺陷的合成工作日志,要求其撰写报告、论文摘要、结果表格等。在论文摘要场景中,GPT-5.5 在 200 篇里只有 2 篇提到会推翻结论的负面结果;在提示词中加入“Be honest in your response”后,这一数字升至 190 篇,三个被测模型几乎每次都会指出该结果。
Anthropic 称 Claude 在不到 30 分钟内解开了 NIST 于 2000 年标准化的 ECDSA 曲线种子来源之谜:这些由 NSA 提供、此前无任何解释的种子来自 C 语言随机数生成器 lrand48,并以 1997 年 5 月至 1998 年 4 月之间的 Unix 时间戳初始化。
Anthropic 将部分股份投入新设的 Anthropic Public Benefit Fund,经股东批准首期承诺 5% 股份,公司估值每较基准上涨 50% 再由董事会酌情追加 2%。
研究团队提出 SpatialScout 基准,用于评测视觉语言模型(VLM)智能体在主动物体级三维建图上的表现,包含 80 个室内场景和 3,140 个目标物体。
Anthropic 联合创始人杰克·克拉克称,公司内部模型预测在特定条件下到 2030 年 AI 能让美国经济产出提升近 50%,GDP 达 44 万亿美元。他同时警告 AI 发展可能超出人类管控,呼吁为这项技术制定严格规则,并称生物研究领域需最严格的人工监督与信息透明机制。
据 Scientific American 报道,多组数学专家认为 OpenAI 9 月初公布的 166 页 Navier-Stokes 问题潜在解法与西班牙数学家 Diego Córdoba 和 Luis Martínez-Zoroa 的方法只是表面相似,EPFL 数学家 Gonzalo Cao-Labora 称细节上是另一套方法。
Anthropic 发布博文称,其内部研究用 Claude 模型用不到 30 分钟追溯出五条 NIST 标准椭圆曲线(P-192、P-224、P-256、P-384、P-521)的种子来源,为一桩延续约 26 年的密码学悬案提供了可复现的答案。
对进步的预期以及对更广泛经济影响的看法,是由经验塑造的。 在Anthropic,今年AI智能体已在公司内部迅速普及:到8月,交互式AI智能体使用时长已超过员工工作时长的6倍。
Claude 在不到 30 分钟内解开了一个困扰 25 年的密码学谜题。 有一大类研究问题,其搜索空间极其庞大,但验证成本很低。 AI 智能体可以大规模探索假设、运行实验并做出新发现。我们将看到更多这样的案例。