跳到正文
事件追踪已归档

NVIDIA与IIT Madras发布2.8万亿token印度语语料

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,10月16日更新

NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,覆盖 22 种印度语言、约 2.8 万亿 token,并公开用于生成该语料的 GPU 加速数据生成流程。 据 NVIDIA 介绍,该语料及配套流程“即将发布”(releasing soon),目前尚未开放下载;发布后建议固定数据集版本以保证实验可复现。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Hugging Face BlogNVIDIA发布2.8万亿token Indic预训练语料

    阅读这篇报道

全部报道

1 篇,点开看摘要
NVIDIA 与 IIT Madras 发布 2.8 万亿 token 印度语言预训练语料及开放生成流程Hugging Face Blog官方厂商自述

NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,覆盖 22 种印度语言、约 2.8 万亿 token,并公开用于生成该语料的 GPU 加速数据生成流程。

入选理由NVIDIA 与 IIT Madras 公开 2.8 万亿 token 的印度语言预训练语料及生成流程,研究者可据此评估多语言模型的训练数据来源。

阅读这篇报道