NVIDIA 开源分布式训练自动恢复服务

事件综述根据 1 篇报道整理，11月3日更新

NVIDIA 发布开源服务 NVIDIA Recovery，作为 DSX OS 的一部分，在集群层面自动检测训练中断、归因故障、隔离节点并重启或停止任务，代码以 Apache 2.0 许可放在 dsx-ai-factory/NVIDIA-Recovery 仓库。 NVIDIA 称，新部署默认从 monitor 模式启动：该模式只发布建议并记录本会执行的动作，不向调度器发出任何操作。随附 MySQL 子 chart，可在本地不配置数据库、不使用物理 GPU 的情况下运行快速入门；生产环境需将 chart 指向托管 MySQL 服务。

综述由模型根据报道生成，细节以各篇原文为准。