DeepMind与Artificial Analysis发布MKA基准
事件综述根据 6 篇报道整理,11月11日更新
Google DeepMind 与 Artificial Analysis 合作推出 MKA(多模态知识智能体)基准,要求智能体阅读建筑图纸、工程示意图、临床扫描等复杂视觉文件,并产出幻灯片、表格、PDF、Word 文档和标注图片等交付物。Google DeepMind 称,现有评估未覆盖这类视觉内容。 Artificial Analysis 称,评测在开源智能体框架 Stirrup 中运行每个任务,提供代码执行、网页搜索、网页抓取和图像查看工具,最多 250 轮,并用 GPT-6 Luna(medium)作为智能体评审对提交的交付物评分。据 Philipp Schmid 称,其中 200 个任务由 Artificial Analysis 保密,以免泄漏进训练数据,另有 10 个公开任务发布在 Hugging Face。IT之家称,MKA 已通过 Artificial Analysis 开放,开发者可用该平台评估自己的模型。 Google DeepMind 称,Gemini 4 Carbon 在该基准上排名第 2,每任务平均成本比排名第一的模型低 6 倍;排名与成本数据均来自发布方自述。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上Google DeepMindGoogle DeepMind与Artificial Analysis发布MKA基准
阅读这篇报道
全部报道
6 篇,点开看摘要谷歌联合 Artificial Analysis 推出 MKA 基准,评测智能体处理视觉复杂文件的知识工作能力
谷歌联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件、完成现实知识工作任务的能力。
阅读这篇报道Google 与 Artificial Analysis 推出 MKA 基准,评测智能体在视觉复杂文件上的知识工作
Google 与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,用于评测智能体在视觉复杂文件上完成知识工作的能力。
阅读这篇报道Artificial Analysis 与 Google DeepMind 合作推出 MKA 基准
很高兴与 @GoogleDeepMind 合作,将 MKA Benchmark 引入 Artificial Analysis
阅读这篇报道Artificial Analysis 与 Google DeepMind 推出 MKA 多模态知识工作基准
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)评测,用于衡量智能体处理复杂视觉文件并产出交付物的能力。
阅读这篇报道Google DeepMind 推出 MKA 多模态基准
我们与 @ArtificialAnlys 共同构建了 MKA(多模态知识智能体):一个衡量智能体处理视觉复杂任务能力的基准。 日常专业工作往往不只用到文本——从交叉比对蓝图到阅读科学图表。现有评估并未覆盖这些内容。 Gemini 4 Carbon 排名第 2,每任务平均成本比排名第一的模型低 6 倍。→ https://goo.gle/4AikIja
阅读这篇报道Artificial Analysis 与 Google DeepMind 推出 MKA 基准,用复杂视觉文件测试智能体知识工作能力
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent(MKA)基准,要求智能体阅读建筑图纸、工程示意图、临床扫描等复杂视觉项目文件,并产出幻灯片、表格、PDF、Word 文档和标注图片等交付物。
阅读这篇报道