跳到正文
事件追踪已归档

Artificial Analysis 发布 VIALS-AA 生命科学视觉推理榜单

首次报道 最新进展 2 篇报道,2 个来源

事件综述根据 2 篇报道整理,11月7日更新

Artificial Analysis 发布 VIALS-AA 榜单,评测 Handshake AI 的 VIALS 生命科学视觉推理基准。该基准含 161 项任务、覆盖八个领域,要求模型解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像并得出科学结论。 评测在 Artificial Analysis 的开源 agent 框架 Stirrup 中进行,每项任务运行三次,并提供代码执行和图像检查工具;由 GPT-6 Luna (medium) 对照参考答案评分,榜单报告三次均被判正确的任务占比(pass^3)。 此前,Artificial Analysis 已对 VIALS-AA 原始测试集中 19 个模型的 9,177 次 rollout 的工具调用做了分类,发现模型解题有快速查看或显式测量两条路径。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Artificial Analysis 完整文章Artificial Analysis 分析科学图像推理中的工具调用

    阅读这篇报道
  2. Artificial AnalysisArtificial Analysis 发布 VIALS-AA 生命科学视觉推理榜单

    阅读这篇报道

全部报道

2 篇,点开看摘要
Artificial Analysis 推出 VIALS-AA 生命科学视觉推理榜单Artificial Analysis厂商自述未入选

Artificial Analysis 发布 VIALS-AA 榜单,评测 Handshake AI 的 VIALS 生命科学视觉推理基准,161 项任务覆盖八个领域,需解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像并得出科学结论。

阅读这篇报道
VIALS-AA:科学图像推理的不同路径Artificial Analysis 完整文章厂商自述未入选

VIALS-AA 基准分析了 19 个模型在科学图像推理任务上的 9,177 次 rollout,发现模型可通过快速查看或显式测量两条路径解题。

阅读这篇报道