DDP MoE 堆栈吞吐量提升 2.7 倍
文章报告：在八块 NVIDIA B300 GPU 上，Olmo-core 3 新的分布式数据并行（DDP）MoE 训练堆栈达到每 GPU 每秒 52,000 个 token，而此前基于 FSDP 的实现为每 GPU 每秒 19,400 个 token，吞吐量提升约 2.7 倍。
支持这项说法
发布 Olmo-core 3：面向大型 MoE 模型的开放、可扩展训练基础设施
在八块 NVIDIA B300 GPU 上进行的初步测试中，一个 470 亿参数的 MoE 使用新堆栈每块 GPU 每秒处理 52,000 个 token，而我们早期的实现为 19,400 个——吞吐量约为 2.7 倍。
原始摘录
In a preliminary test on eight NVIDIA B300 GPUs, a 47-billion-parameter MoE processed 52,000 tokens per second per GPU with the new stack, compared with 19,400 using our earlier implementation—about 2.7× the throughput.
上下文
NVIDIA 的 Megatron-Core 是训练大型 MoE 的成熟方案。Olmo-core 3 为 Olmo 背后的框架带来了集成的 MoE 训练堆栈，其重新设计相比我们早期基于 FSDP 的实现提升了吞吐量。
原始上下文
NVIDIA’s Megatron-Core is an established option for training large MoEs. Olmo-core 3 brings an integrated MoE training stack to the framework behind Olmo, with a redesign that improves throughput over our earlier FSDP-based implementation.
分享观点验证此主张