Amazon SageMaker HyperPod

基盤モデルのトレーニング時間を最大 40% 短縮し、1,000 個を超える AI アクセラレーター全体で効率的にスケール

SageMaker HyperPod とは?

Amazon SageMaker HyperPod は、機械学習 (ML) インフラストラクチャの構築と最適化に伴う差別化につながらない重労働を排除します。1,000 を超える AI アクセラレーターにトレーニングワークロードを自動的に分割する、SageMaker の分散トレーニングライブラリが事前設定されているため、ワークロードを並列処理して、モデルのパフォーマンスを改善できます。SageMaker HyperPod は、チェックポイントを定期的に保存することで、FM トレーニングが中断されないようにします。ハードウェア障害を発生時に自動検知し、障害が発生したインスタンスを修復または交換して、最後に保存されたチェックポイントからトレーニングを再開するため、このプロセスを手動で管理する必要がなくなります。高い回復力を備えた環境では、分散された環境内で、数週間または数か月間にわたって中断なく、モデルのトレーニングを実行できるため、トレーニング時間を最大 40% 短縮できます。SageMaker HyperPod は高度にカスタマイズ可能であるため、ユーザーは FM ワークロードを効率的に実行およびスケールしたり、大規模なトレーニングから推論まで、さまざまなワークロード間でコンピューティングキャパシティを簡単に共有したりできます。

SageMaker ハイパーポッドのメリット

大規模なトレーニングクラスター向けに合理化された分散型トレーニング

Amazon SageMaker HyperPod では、Amazon SageMaker 分散トレーニングライブラリが事前設定されているため、モデルとトレーニングデータセットを AWS クラスターインスタンス全体で自動的に分割して、トレーニングワークロードを効率的にスケールできます。

クラスターのコンピューティング、メモリ、ネットワークリソースの使用率を最適化する

Amazon SageMaker 分散トレーニングライブラリは、データ並列処理とモデル並列処理という 2 つの手法を通じて、AWS のネットワークインフラストラクチャとクラスタートポロジ向けにトレーニングジョブを最適化します。モデル並列処理は、大きすぎて単一の GPU に適さないモデルを小さな部分に分割してから、複数の GPU に分散してトレーニングします。データ並列処理では、トレーニングの速度を上げるために、大規模なデータセットを分割して同時にトレーニングします。