AI・機械学習 Hugging Face AccelerateによるFSDPとDeepSpeedの比較と使い分け方 はじめに近年、大規模言語モデルの学習には多くのGPUリソースが必要とされています。そこで登場したのが、Zero Redundancy Optimizer (Zero)アルゴリズムを実装したDeepSpeedとPyTorch FSDPの2つの... 2024.06.14 AI・機械学習大規模言語モデル
AI・機械学習