事件追踪追踪中
MMDM多任务决策基准发布
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,11月11日更新
研究者提出并发布 MMDM(Massive Multitask Decision Making)基准,用于评测决策模型在多任务决策中的表现。该基准包含 16 个任务类别的 5,448 道题,覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分量表打分等场景,题型包括单选、多选和软标签决策。 据作者团队介绍,题目由新构建任务与基于来源的重组、改写组成,选项空间从 2 到 1,024,输入最长 64,817 Token。该基准目前处于发布阶段,尚未见第三方复现或独立评测结果。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上Hugging Face Daily PapersMMDM决策基准发布
阅读这篇报道
全部报道
1 篇,点开看摘要MMDM 基准发布:5,448 道题评测决策模型在多任务决策中的表现
研究者提出 MMDM(Massive Multitask Decision Making)基准,包含 16 个任务类别的 5,448 道题,覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分量表打分等场景,选项空间从 2 到 1,024,输入最长 64,817 Token。
阅读这篇报道