Fine-tune video and image models at scale with NVIDIA NeMo Automodel and 🤗 Diffusers
NVIDIA 与 Hugging Face 合作,将 NeMo Automodel 集成到 🤗 Diffusers 生态,使任何 Diffusers 格式的模型无需检查点转换即可直接在 Hugging Face Hub 上进行分布式扩散模型训练,支持从单 GPU 到数百 GPU 规模的无缝扩展。
NVIDIA 联合 Hugging Face 发布 NeMo Automodel 与 🤗 Diffusers 的集成方案,面向生产级分布式扩散模型训练。NeMo Automodel 是基于 PyTorch DTensor 的开源训练库,属于 NVIDIA NeMo 框架,支持以 Diffusers 模型 ID 直接加载 Hub 上的模型并开始训练,无需模型重写。该库目前仅支持流匹配(flow matching)模型,采用潜在空间训练和多分辨率分桶数据加载来加速吞吐量,通过配置即可切换 FSDP2、张量并行等分布式策略。所有集成代码基于 Apache 2.0 协议开源。