事件追踪已归档
Artificial Analysis 发布 VIALS-AA 生命科学视觉推理榜单
首次报道 最新进展 2 篇报道,2 个来源
事件综述根据 2 篇报道整理,11月7日更新
Artificial Analysis 发布 VIALS-AA 榜单,评测 Handshake AI 的 VIALS 生命科学视觉推理基准。该基准含 161 项任务、覆盖八个领域,要求模型解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像并得出科学结论。 评测在 Artificial Analysis 的开源 agent 框架 Stirrup 中进行,每项任务运行三次,并提供代码执行和图像检查工具;由 GPT-6 Luna (medium) 对照参考答案评分,榜单报告三次均被判正确的任务占比(pass^3)。 此前,Artificial Analysis 已对 VIALS-AA 原始测试集中 19 个模型的 9,177 次 rollout 的工具调用做了分类,发现模型解题有快速查看或显式测量两条路径。
综述由模型根据报道生成,细节以各篇原文为准。