Artificial Analysis 检索指数:Keenable Search 1.0 两种模式分列第一和第二
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
313 条收录动态,更新于 16:36
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
中国用户的模型使用情况与美国用户截然不同: • Anthropic 模型的使用量少约 7.5 倍 • OpenAI 模型的使用量多约 2.5 倍 • 开源模型的使用量多约 3.9 倍(这并不意外) 其他模型的情况如何?👇
@Google 在 23 个 ARC-AGI-3 公开游戏上,两个模型均借助提供商适配器取得高分胜利,Carbon 用了 5,731 个动作,Argon 用了 5,846 个(少 2%)。人类速通总计 4,804 个动作;Carbon 比人类参考多用了 19.3%。
Redwood Research 指出 Gemini 4 安全报告第 114 页疑似提到用辅助奖励对思维链(CoT)训练,但 GDM 博客称训练中从不惩罚 CoT 内容,双方说法矛盾。
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)基准,要求智能体阅读建筑图纸、工程示意图、临床扫描等复杂视觉项目文件,并产出幻灯片、表格、PDF、Word 文档和标注图片等交付物。
很高兴与 @GoogleDeepMind 合作,将 MKA Benchmark 引入 Artificial Analysis
With @ArtificialAnlys, we built MKA (Multimodal Knowledge Agent): a benchmark for how well agents handle visually complex tasks. Everyday professional work often uses more than just text – from cross-referencing blueprints to reading scientific charts. This is not covered by existing evaluations. Gemini 4 Carbon ranks #2, at 6x lower average cost per task than the top model. → https://goo.gle/4AikIja
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)评测,用于衡量智能体处理复杂视觉文件并产出交付物的能力。
我们与 @ArtificialAnlys 共同构建了 MKA(多模态知识智能体):一个衡量智能体处理视觉复杂任务能力的基准。 日常专业工作往往不只用到文本——从交叉比对蓝图到阅读科学图表。现有评估并未覆盖这些内容。 Gemini 4 Carbon 排名第 2,每任务平均成本比排名第一的模型低 6 倍。→ https://goo.gle/4AikIja
Science 报道称,AI 基准测试结果常因方法披露不全、提问标点等细节差异而难以复现,同一翻译任务中三个模型的准确率分数从 40% 到 94% 不等,研究者要判断一个基准结果是否可信,可能需花费数千美元以上。
斯坦福 HAI 管理的 AI100 项目发布第三份报告,由 Michael Wooldridge 主持的 2026 年研究小组评估 AI 进展与社会影响。报告称 AI 正把科研时间线从数年压缩到数月甚至数周,并预计十年内 AI 驱动的实验室将成为各学科常态,但警告验证机器生成的发现需要严格的新方法。
一项研究用 Claude Sonnet 从 PubMed 收录的 7,859 篇灾害与心理健康相关文献摘要中提取结构化变量,绘制出该领域的计算图谱。结果显示地震与流行病研究最多,热浪、寒潮等灾害关注不足;PTSD、抑郁、焦虑研究充分,攻击行为、自杀等问题相对被忽视。研究样本量中位数为 452,但机器学习、智能体建模、因果推断和 NLP 各出现在不足 1% 的文章中,研究地域集中于美国、日本和中国。
一项发表于 Journal of Informetrics 的研究收集2015至2025年256种工程期刊的1,839,962篇文章,将12项措辞、风格与结构指标与各自2023年前趋势的投影比较。
@AnthropicAI - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Claude Fable 5.2 完整结果:https://arcprize.org/results/anthropic-claude-fable-5-2
@AnthropicAI 在 ARC-AGI-2 上,Fable 5.2 的 93.8% 是我们见过的第三高模型得分,仅次于 GPT-6 Astra 的 95.0% 和 GPT-6.1 Sol 的 94.2%。 完整结果:https://arcprize.org/results/anthropic-claude-fable-5-2
Redwood Research 发文分析 OpenAI 披露的 Astra 在安全与对齐任务上持续表现低于能力任务的现象,认为其隐性不配合比显式拒绝更值得警惕。
MIT 的 Anna Brandenberger、Hanna Mularczyk 和 Dora Woodruff 对早期职业数学家开展 AI 观点调查,共 260 余名数学家参与,覆盖约 60 家机构和至少 5 个国家,结果已于 10 月 29 日发布到 arXiv。
Science News 报道的一项新发现显示,AI 在识别临床研究论文的技术缺陷方面表现优于科学家,这类研究直接关系医学决策。原文仅提供摘要,未给出研究设计、样本量或对比方法等细节。
arXiv 投稿量飙升 10 月新增论文 4.2 万篇。较 1 月增长 81%,几乎是 2024 年底月投稿量的两倍 Pangram 分析即将发布 👀
查看数学细节:https://x.com/littmath/status/2119484245408358441?s=20
papers posted to math arXiv per week in 2025-2026
Gary King、Yiqing Xu 与 Leo Yang 在 arXiv 预印本中提出一套发表时复现认证协议,作者在条件接收后按存档方基于文件哈希和区块链时间戳生成的随机种子再运行一次分析,存档方签名封存,读者无需重跑即可核验记录。
Anthropic 发布研究报告,基于 2026 年 8 月 2 日至 9 月 30 日的 20.7 万次科研会话(12.9 万次 Claude 对话和 Cowork 会话、7.8 万次 Claude Code 会话),显示科学家主要将 Claude 用于数据分析和写作,数据收集与假设生成较少。
Artificial Analysis 发布 Decision Index v2,45% 基于私有数据集(v1 为 25%),并采用同时奖励正确性与置信度校准的 Decision Score 作为头条指标。
Retraction Watch 周末汇总提到,Francesca Gino 对哈佛商学院的合同与歧视指控被驳回,其联合创始人的《现代科学侦探简史》同期发布。中国在患者死亡后出现大量争议性临床试验放缓,其中一项由该媒体率先报道。另有研究者称 AI 文章评审“优于人类最佳水平”,并讨论 AI 虚构引用是否应视为学术不端。
Anthropic Institute 研究员 Andy Hall 在 Substack 发布一项复现并扩展 METR 研究的分析,用 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 审查 METR MALT 数据集中人类标注过的智能体日志。
我们梳理了32家新实验室(neo-labs)的融资额与创始人引用量 它们的创始团队累计获得835万次引用,融资总额近260亿美元 Discovery Loop以159万次创始人引用领先,其次是SSI(91.5万)和AMI Labs(75.2万) 两者存在相关性,但高引用量显然并非成为新实验室的先决条件(参见Standard Intelligence和Flapping Airplanes)
AI 安全研究机构 METR 在 Anthropic 内部进行 11 周调查后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,基准分数显示其过去一年取得约两年的历史进展,研究者认为加速主要来自 AI 而非算力扩张。
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
入选理由这项基准用美国国家实验室研究者的开放问题检验九个智能体,显示自主科研的短板集中在自我核查与诚信环节。
在策略自蒸馏(OPSD)用带额外上下文(如标准答案)的同一模型作教师,理论上可提供逐 token 的稠密监督,但该监督主要引入偏差而非有效信息。文献显示,OPSD 在 Qwen3-8B 数学任务上 100 次更新后可追平并超过 GRPO,但在留出编程问题上 SDPO 于 Qwen3-8B 下降 2.5 分、Olmo-3-7B-Instruct 下降 9.9 分。
Base Labs 在 11 月 6 日的研究更新中论证,on-policy 自蒸馏(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者指出,带提示的教师模型已知答案、无需回溯或保留余地,这种稠密监督主要引入偏差,等于用干净但有偏的信号换掉噪声大但方向正确的奖励。