跳到正文
事件追踪追踪中

MMDM多任务决策基准发布

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,11月11日更新

研究者提出并发布 MMDM(Massive Multitask Decision Making)基准,用于评测决策模型在多任务决策中的表现。该基准包含 16 个任务类别的 5,448 道题,覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分量表打分等场景,题型包括单选、多选和软标签决策。 据作者团队介绍,题目由新构建任务与基于来源的重组、改写组成,选项空间从 2 到 1,024,输入最长 64,817 Token。该基准目前处于发布阶段,尚未见第三方复现或独立评测结果。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Hugging Face Daily PapersMMDM决策基准发布

    阅读这篇报道

全部报道

1 篇,点开看摘要
MMDM 基准发布:5,448 道题评测决策模型在多任务决策中的表现Hugging Face Daily Papers预印本未入选

研究者提出 MMDM(Massive Multitask Decision Making)基准,包含 16 个任务类别的 5,448 道题,覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分量表打分等场景,选项空间从 2 到 1,024,输入最长 64,817 Token。

阅读这篇报道