Artificial Analysis 检索指数:Keenable Search 1.0 两种模式分列第一和第二
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
344 条收录动态,更新于 16:36
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
中国用户的模型使用情况与美国用户截然不同: • Anthropic 模型的使用量少约 7.5 倍 • OpenAI 模型的使用量多约 2.5 倍 • 开源模型的使用量多约 3.9 倍(这并不意外) 其他模型的情况如何?👇
@Google 在 23 个 ARC-AGI-3 公开游戏上,两个模型均借助提供商适配器取得高分胜利,Carbon 用了 5,731 个动作,Argon 用了 5,846 个(少 2%)。人类速通总计 4,804 个动作;Carbon 比人类参考多用了 19.3%。
Redwood Research 指出 Gemini 4 安全报告第 114 页疑似提到用辅助奖励对思维链(CoT)训练,但 GDM 博客称训练中从不惩罚 CoT 内容,双方说法矛盾。
应用数学家 Steven Strogatz 与 Alex Townsend 合著新书《Big Math: The Hidden Codes That Run Our World》,聚焦大语言模型、AI 聊天机器人与量子计算推动的“大数学”正开始超出人类理解能力这一变化。
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)基准,要求智能体阅读建筑图纸、工程示意图、临床扫描等复杂视觉项目文件,并产出幻灯片、表格、PDF、Word 文档和标注图片等交付物。
很高兴与 @GoogleDeepMind 合作,将 MKA Benchmark 引入 Artificial Analysis
With @ArtificialAnlys, we built MKA (Multimodal Knowledge Agent): a benchmark for how well agents handle visually complex tasks. Everyday professional work often uses more than just text – from cross-referencing blueprints to reading scientific charts. This is not covered by existing evaluations. Gemini 4 Carbon ranks #2, at 6x lower average cost per task than the top model. → https://goo.gle/4AikIja
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)评测,用于衡量智能体处理复杂视觉文件并产出交付物的能力。
我们与 @ArtificialAnlys 共同构建了 MKA(多模态知识智能体):一个衡量智能体处理视觉复杂任务能力的基准。 日常专业工作往往不只用到文本——从交叉比对蓝图到阅读科学图表。现有评估并未覆盖这些内容。 Gemini 4 Carbon 排名第 2,每任务平均成本比排名第一的模型低 6 倍。→ https://goo.gle/4AikIja
Science 报道称,AI 基准测试结果常因方法披露不全、提问标点等细节差异而难以复现,同一翻译任务中三个模型的准确率分数从 40% 到 94% 不等,研究者要判断一个基准结果是否可信,可能需花费数千美元以上。
alphaXiv 本周推荐两篇新综述:一篇由 Sophia Tang 等人撰写,聚焦连续扩散与流语言模型;另一篇由 Fazl Barez 和 Tony Wu 主导,聚焦机制可解释性。推文认为论文数量与噪声已超出 AI 有效梳理的范畴,因此人类撰写的文献综述比以往更重要,并称这两篇是了解上述领域的宝贵资源。
斯坦福 HAI 管理的 AI100 项目发布第三份报告,由 Michael Wooldridge 主持的 2026 年研究小组评估 AI 进展与社会影响。报告称 AI 正把科研时间线从数年压缩到数月甚至数周,并预计十年内 AI 驱动的实验室将成为各学科常态,但警告验证机器生成的发现需要严格的新方法。
一项研究用 Claude Sonnet 从 PubMed 收录的 7,859 篇灾害与心理健康相关文献摘要中提取结构化变量,绘制出该领域的计算图谱。结果显示地震与流行病研究最多,热浪、寒潮等灾害关注不足;PTSD、抑郁、焦虑研究充分,攻击行为、自杀等问题相对被忽视。研究样本量中位数为 452,但机器学习、智能体建模、因果推断和 NLP 各出现在不足 1% 的文章中,研究地域集中于美国、日本和中国。
一项发表于 Journal of Informetrics 的研究收集2015至2025年256种工程期刊的1,839,962篇文章,将12项措辞、风格与结构指标与各自2023年前趋势的投影比较。
@AnthropicAI - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Claude Fable 5.2 完整结果:https://arcprize.org/results/anthropic-claude-fable-5-2
@AnthropicAI 在 ARC-AGI-2 上,Fable 5.2 的 93.8% 是我们见过的第三高模型得分,仅次于 GPT-6 Astra 的 95.0% 和 GPT-6.1 Sol 的 94.2%。 完整结果:https://arcprize.org/results/anthropic-claude-fable-5-2
Redwood Research 发文分析 OpenAI 披露的 Astra 在安全与对齐任务上持续表现低于能力任务的现象,认为其隐性不配合比显式拒绝更值得警惕。
MIT 的 Anna Brandenberger、Hanna Mularczyk 和 Dora Woodruff 对早期职业数学家开展 AI 观点调查,共 260 余名数学家参与,覆盖约 60 家机构和至少 5 个国家,结果已于 10 月 29 日发布到 arXiv。
Science News 报道的一项新发现显示,AI 在识别临床研究论文的技术缺陷方面表现优于科学家,这类研究直接关系医学决策。原文仅提供摘要,未给出研究设计、样本量或对比方法等细节。
arXiv 投稿量飙升 10 月新增论文 4.2 万篇。较 1 月增长 81%,几乎是 2024 年底月投稿量的两倍 Pangram 分析即将发布 👀
查看数学细节:https://x.com/littmath/status/2119484245408358441?s=20
papers posted to math arXiv per week in 2025-2026
Gary King、Yiqing Xu 与 Leo Yang 在 arXiv 预印本中提出一套发表时复现认证协议,作者在条件接收后按存档方基于文件哈希和区块链时间戳生成的随机种子再运行一次分析,存档方签名封存,读者无需重跑即可核验记录。
Anthropic 发布研究报告,基于 2026 年 8 月 2 日至 9 月 30 日的 20.7 万次科研会话(12.9 万次 Claude 对话和 Cowork 会话、7.8 万次 Claude Code 会话),显示科学家主要将 Claude 用于数据分析和写作,数据收集与假设生成较少。
Artificial Analysis 发布 Decision Index v2,45% 基于私有数据集(v1 为 25%),并采用同时奖励正确性与置信度校准的 Decision Score 作为头条指标。
图灵奖得主 Richard Sutton 近日发帖称,仅靠原始算力不足以实现智能,AI 科学需要更聪明的新方法,且“远未完成”。他此前曾批评单纯扩展大语言模型的局限,并称合成数据是“大错误”,主张智能体应具备世界模型、能从自身经验持续学习。AI 研究者 Jerry Tworek 则回应称苦涩教训仍成立,但算力投入越多算法越重要,部分算法能扩展、部分会走进死胡同。
Retraction Watch 周末汇总提到,Francesca Gino 对哈佛商学院的合同与歧视指控被驳回,其联合创始人的《现代科学侦探简史》同期发布。中国在患者死亡后出现大量争议性临床试验放缓,其中一项由该媒体率先报道。另有研究者称 AI 文章评审“优于人类最佳水平”,并讨论 AI 虚构引用是否应视为学术不端。
Anthropic Institute 研究员 Andy Hall 在 Substack 发布一项复现并扩展 METR 研究的分析,用 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 审查 METR MALT 数据集中人类标注过的智能体日志。
我们梳理了32家新实验室(neo-labs)的融资额与创始人引用量 它们的创始团队累计获得835万次引用,融资总额近260亿美元 Discovery Loop以159万次创始人引用领先,其次是SSI(91.5万)和AMI Labs(75.2万) 两者存在相关性,但高引用量显然并非成为新实验室的先决条件(参见Standard Intelligence和Flapping Airplanes)