機械学習アプリケーションのスピードアップを必要とするデータサイエンティスト、リサーチャー、およびデベロッパーにとって、Amazon EC2 P3 インスタンスはクラウド内の最速の機械学習トレーニング用インスタンスです。Amazon EC2 P3 インスタンスには、最新世代の NVIDIA V100 Tensor Core GPU が最大 8 個搭載されており、混合精度で最大 1 ペタフロップのパフォーマンスにより、ML ワークロードを大幅に加速します。モデルトレーニングの高速化によって、データサイエンティストや機械学習エンジニアは、より速く反復処理を行い、より多くのモデルをトレーニングし、精度を向上させています。

クラウド内の最強の GPU インスタンスの 1 つであることに加えて柔軟な料金プランにより、機械学習トレーニング用のソリューションとして費用対効果の高さは比類がありません。通常の Amazon EC2 インスタンスと同じように、P3 インスタンスはオンデマンドインスタンス、リザーブドインスタンス、またはスポットインスタンスとして利用できます。スポットインスタンスは、未使用の EC2 インスタンスの容量を活用することで、Amazon EC2 のコストをオンデマンド料金の最大 70% まで節約できます。

オンプレミスのシステムとは異なり、Amazon EC2 P3 インスタンスでハイパフォーマンスコンピューティングを実行すると、事実上無制限の容量でインフラストラクチャをスケールアウトできます。また、ワークロードの需要に応じてリソースを簡単に変更できる柔軟性があります。アプリケーションの必要に応じてリソースを設定し、HPC クラスターを数分以内に起動できます。利用した分のみの料金を支払います。

事前にパッケージ化された Docker イメージを使用すると、深層学習環境を数分でデプロイできます。イメージには、必要になる深層学習フレームワークのライブラリ (現時点では TensorFlow と Apache MXNet) とツールが含まれ、そのすべてがテスト済みです。モニタリング、コンプライアンス、データ処理を高度に制御するために、イメージに独自のライブラリやツールを追加することも簡単に行えます。さらに、Amazon EC2 P3 インスタンスはシームレスに Amazon SageMaker と連携し、強力かつ直感的で、完全な機械学習プラットフォームを提供します。Amazon SageMaker は、フルマネージド型の機械学習プラットフォームで、機械学習モデルを迅速かつ簡単に構築、トレーニング、デプロイできます。さらに、Amazon EC2 P3 インスタンスは、一般的な深層学習フレームワークにプリインストールされている AWS 深層学習 Amazon マシンイメージ (AMI) と統合できます。これにより、機械学習トレーニングおよび推論をより高速かつ簡単に開始できます。

Amazon SageMaker を使用すると、簡単に機械学習モデルを構築し、トレーニングのための準備ができます。また、トレーニングデータにすばやくアクセスし、アプリケーションに合ったアルゴリズムとフレームワークを選択して最適化するために必要なものがすべて提供されます。Amazon SageMaker には、Amazon S3 に保存されているトレーニングデータを簡単に分析して可視化できる、ホスト型の Jupyter ノートブックが含まれています。  また、ノートブックインスタンスを使用してコードを記述することや、モデルのトレーニングジョブの作成、Amazon SageMaker ホスティングへのモデルのデプロイ、モデルのテストや検証も実行できます。

コンソールでワンクリックするか、API コールを使用してモデルのトレーニングを開始できます。Amazon SageMaker には、最新バージョンの TensorFlow と Apache MXNet、および NVIDIA GPU で最適なパフォーマンスを得るための CUDA9 ライブラリサポートが事前設定済みです。加えて、ハイパーパラメータ最適化の機能では、異なる組み合わせのモデルパラメータをスマートに調節して最も正確な予測に迅速に到達させることで、モデルのチューニングを自動的に実行できます。さらに大きなスケールが必要な場合、数十のインスタンスにスケールして、モデル構築を迅速に実行できます。

トレーニング終了後、複数のアベイラビリティーゾーンをまたいで、自動的にスケールする Amazon EC2 インスタンスにモデルをワンクリックでデプロイできます。本番稼働用環境では、Amazon SageMaker がお客様に代わってコンピューティングインフラストラクチャを管理し、ヘルスチェックを行い、セキュリティパッチを適用し、その他の日常的メンテナンスを行います。これらのすべてに組み込みの Amazon CloudWatch モニタリングとログ記録が使用されます。

Amazon EC2 P3dn.24xlarge インスタンスは、現在提供されている P3 インスタンスサイズの中で最も強力で、最速、最大のインスタンスです。最大 100 Gbps のネットワークスループット、8 個の NVIDIA® V100 Tensor Core GPU (それぞれに 32 GiB のメモリを搭載)、96 個のカスタム Intel® Xeon® Scalable (Skylake) vCPU、1.8 TB の NVMe ベースのローカル SSD ストレージが搭載されています。デベロッパーは、ネットワークの高速化、新しいプロセッサ、GPU メモリの倍増、vCPU の追加が行われたこのインスタンスを使用して、複数のインスタンス (例えば、16 個、32 個、64 個のインスタンス) にジョブをスケールアウトすることで、ML モデルのトレーニングやより多くの HPC シミュレーションの実行にかかる時間を大幅に短縮できます。機械学習モデルは、トレーニングのために大量のデータを必要とします。大量のトレーニングデータに対するアクセスをスピードアップさせるには、インスタンス間のデータの受け渡しのスループットを高めるほかに、Simple Storage Service (Amazon S3) や共有ファイルシステムソリューション (Amazon EFS など) に接続することで P3dn.24xlarge インスタンスのネットワークスループットを利用することもできます。

100 Gbps のネットワークスループットにより、デベロッパーは分散トレーニングのために多数の P3dn.24xlarge インスタンスを効率的に使用し、モデルのトレーニング時間を大幅に短縮できます。AWS カスタムのインテル Skylake プロセッサ (96vCPU を搭載) は、AVX-512 命令をサポートして 2.5 GHz で動作し、データの前処理の最適化を促進します。さらに、P3dn.24xlarge インスタンスは、専有ハードウェアと軽量ハイパーバイザーを組み合わせた AWS Nitro System を使用し、実質的にホストハードウェアのすべてのコンピューティングリソースとメモリリソースをお客様のインスタンスに提供します。P3dn.24xlarge インスタンスは、NVIDIA Collective Communications Library (NCCL) を使用する ML アプリケーションが数千の GPU にスケールできるようにする Elastic Fabric Adapter もサポートしています。

拡張ネットワーキングでは、最大 100 Gbps の集約ネットワーク帯域幅を備えた最新バージョンの Elastic Network Adapter を使用します。これにより、複数の P3dn.24xlarge インスタンス間でデータを共有できるだけでなく、Amazon S3 や共有ファイルシステムソリューション (Amazon EFS など) を介した高スループットのデータアクセスが可能になります。高スループットのデータアクセスは、GPU の使用率を最適化し、コンピューティングインスタンスの最大限のパフォーマンスを提供するために不可欠です。

P3dn.24xlarge インスタンスは、32 GiB メモリの NVIDIA V100 Tensor Core GPU を搭載します。これにより、より高度で、より大規模な機械学習モデルを柔軟にトレーニングできるほか、画像分類システムやオブジェクト検出システムで使用される 4K 画像などの大容量データを一括処理することが可能となります。