Zero Redundancy Optimizer

AI・機械学習

Hugging Face AccelerateによるFSDPとDeepSpeedの比較と使い分け方

はじめに近年、大規模言語モデルの学習には多くのGPUリソースが必要とされています。そこで登場したのが、Zero Redundancy Optimizer (Zero)アルゴリズムを実装したDeepSpeedとPyTorch FSDPの2つの...