ubuntu マルチgpu 分散学習 nccl

NCCL on Ubuntu — マルチGPU分散学習のセットアップとバンド幅テスト

PyTorchやJAXで複数のGPUを使って深層学習を高速化したいとき、必ず登場するのがNCCL（NVIDIA Collective Communications Library）です。「マルチGPUにしたのに速くならない」「AllRedu…