ML 애플리케이션의 속도로 높여야 하는 데이터 과학자, 연구원, 개발자를 위해 Amazon EC2 P3 인스턴스는 클라우드에서 ML 훈련용으로 가장 빠른 속도를 제공합니다. Amazon EC2 P3 인스턴스는 최대 8개의 최신 세대 NVIDIA Tesla V100 Tensor Core GPU를 갖추고 있으며 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 ML 워크로드를 현격히 가속화합니다. 더 빠른 모델 교육을 통해 데이터 과학자와 기계 학습 엔지니어는 더 빠르게 반복하고, 더 많은 모델을 교육하며, 정확도를 높일 수 있습니다.

클라우드에서 가장 강력한 GPU 인스턴스 중 하나와 함께 유연한 요금제를 사용하면 기계 학습 훈련을 위한 최고의 경제적인 솔루션이 탄생합니다. 일반 Amazon EC2 인스턴스와 마찬가지로, P3 인스턴스는 온디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스로 제공됩니다. 스팟 인스턴스는 사용하지 않는 EC2 인스턴스 용량을 활용함으로써 Amazon EC2 비용을 온디맨드 요금 대비 최대 70%까지 낮출 수 있습니다.

온프레미스 시스템과는 달리 Amazon EC2 P3 인스턴스에서 고성능 컴퓨팅을 실행하면 인프라를 확장할 수 있는 거의 무제한의 용량과 리소스를 손쉽게 그리고 워크로드에 필요할 때마다 변경할 수 있는 유연성이 제공됩니다. 애플리케이션의 수요에 맞춰 리소스를 구성하고 몇 분 만에 HPC 클러스터를 시작하며 사용한 만큼만 비용을 지불할 수 있습니다.

사전에 패키징된 Docker 이미지를 사용하여 몇 분 만에 딥 러닝 환경을 배포할 수 있습니다. 이 이미지에는 필요한 딥 러닝 프레임워크 라이브러리(현재 TensorFlow 및 Apache MXNet)와 도구가 포함되어 있으며 모든 테스트를 거쳤습니다. 모니터링, 규정 준수 및 데이터 처리에 대한 높은 수준의 제어를 위해 이러한 이미지에 손쉽게 자체 라이브러리와 도구를 추가할 수 있습니다. 또한 Amazon EC2 P3 인스턴스는 Amazon SageMaker와 원활하게 연동되어 강력하고 직관적인 완벽한 기계 학습 플랫폼을 제공합니다. Amazon SageMaker는 기계 학습 모델을 빠르고 쉽게 구축, 교육 및 배포할 수 있도록 지원하는 완전관리형 기계 학습 플랫폼입니다. 또한 Amazon EC2 P3 인스턴스는 널리 사용되는 딥러닝 프레임워크를 통해 미리 설치되는 AWS Deep Learning Amazon 머신 이미지(AMI)와 통합할 수 있습니다. 따라서 기계 학습 훈련과 추론을 빠르고 쉽게 시작할 수 있습니다.

Amazon SageMaker를 사용하면 손쉽게 기계 학습 모델을 구축하고 학습시킬 수 있습니다. 학습 데이터에 빠르게 연결하며 애플리케이션을 위한 최상의 알고리즘 및 프레임워크를 선택 및 최적화하는 데 필요한 모든 것을 제공해 줍니다. Amazon SageMaker에는 호스팅된 Jupyter 노트북이 포함되어 있으므로, Amazon S3에 저장된 교육 데이터를 손쉽게 탐색하고 시각화할 수 있습니다.  또한, 노트북 인스턴스를 사용해 코드를 작성하여 모델 교육 작업을 생성하고 Amazon SageMaker 호스팅으로 모델을 배포하고 모델을 테스트 또는 검증할 수 있습니다.

콘솔에서 클릭 한 번 또는 API 호출을 통해 모델 학습을 시작할 수 있습니다. Amazon SageMaker는 TensorFlow 및 Apache MXNet의 최신 버전이 사전에 구성되어 있으며 NVIDIA GPU에서 최적의 성능을 내는 CUDA9 라이브러리를 지원합니다. 또한, 하이퍼 파라미터 최적화 기능은 가장 정확한 예측에 신속하게 도달하도록 모델 파라미터의 서로 다른 조합을 지능적으로 조정하여 모델을 자동으로 튜닝할 수 있습니다. 더 큰 규모가 필요한 경우, 수십 개의 인스턴스로 확장하여 더 빠르게 모델을 구축하도록 지원할 수 있습니다.

학습 후 클릭 한 번으로 여러 가용 영역의 Auto Scaling Amazon EC2 인스턴스로 모델을 배포할 수 있습니다. 프로덕션에 적용되면, Amazon SageMaker가 사용자를 대신하여 컴퓨팅 인프라를 관리하여 상태 확인을 수행하고, 보안 패치를 적용하며, 그 밖의 일상적 유지 관리를 수행합니다. 이 모두는 내장된 Amazon CloudWatch 모니터링 및 로깅 기능을 통해 이루어집니다.

Amazon EC2 P3dn.24xlarge 인스턴스는 가장 빠르고 강력할 뿐만 아니라 크기까지 가장 큰 P3 인스턴스로서 최대 100Gbps의 네트워킹 처리 속도, 각각 32GiB의 메모리가 탑재된 NVIDIA® V100 Tensor Core GPU 8개, 사용자 지정 방식의 인텔® 제온® 스케일러블(스카이레이크) vCPU 96개, 그리고 1.8TB의 로컬 NVMe 기반 SSD 스토리지를 제공합니다. 더 빠른 네트워킹, 새로운 프로세서, 2배로 늘어난 GPU 메모리, 추가 vCPU를 통해 개발자는 여러 인스턴스 (예: 인스턴스 16개, 32개 또는 64개)에 걸쳐 작업을 확장함으로써 기계 학습 모델을 트레이닝하는 데 걸리는 시간을 대폭 단축하거나 더 많은 HPC 시뮬레이션을 실행할 수 있습니다. 기계 학습 모델은 학습을 위해 많은 양의 데이터가 필요하고, 인스턴스 간의 데이터 전달 처리량 향상 외에도, Amazon S3 또는 Amazon EFS와 같은 공유 파일 시스템 솔루션에 연결하여 대량의 학습 데이터에 대한 액세스 속도를 높이기 위해 P3dn.24xlarge 인스턴스의 네트워크 처리량이 추가로 사용될 수 있습니다.

100Gbps의 네트워킹 처리량을 통해 개발자들은 분산 훈련에 많은 수의 P3dn.24xlarge 인스턴스를 효율적으로 사용하여 모델 훈련 시간을 상당히 단축할 수 있습니다. AWS 커스텀 인텔 스카이레이크 프로세서의 96vCPU와 2.5GHz에서 작동하는 AVX-512 명령은 데이터 전처리 최적화를 지원합니다. 또한 P3dn.24xlarge 인스턴스는 전용 하드웨어 및 경량 하이퍼바이저가 결합된 AWS Nitro System을 사용하여 인스턴스에 호스트 하드웨어의 컴퓨팅 및 메모리 리소스를 거의 모두 제공합니다. 또한 P3dn.24xlarge 인스턴스는 Elastic Fabric Adapter를 지원하므로 NVIDIA Collective Communications Library(NCCL)를 사용하여 수천 개의 GPU로 확장되는 기계 학습 애플리케이션을 지원할 수 있습니다.

총 네트워크 대역폭이 최대 100Gbps인 Elastic Network Adapter의 최신 버전을 사용하는 향상된 네트워킹을 사용하여 여러 P3dn.24xlarge 인스턴스에서 데이터를 공유할 수 있을 뿐 아니라, Amazon S3 또는 공유 파일 시스템 솔루션(Amazon EFS 등)을 통해 높은 처리량의 데이터 액세스에도 사용할 수 있습니다. 고성능 데이터 액세스는 GPU의 사용률을 최적화하고 컴퓨팅 인스턴스의 최대 성능을 제공하는 데 중요합니다.

P3dn.24xlarge 인스턴스는 각각 32GiB의 메모리가 탑재된 NVIDIA V100 Tensor Core GPU를 제공하기 때문에 더욱 크고 복잡한 기계 학습 모델을 훈련시킬 뿐만 아니라 이미지 분류 및 객체 감지 시스템에 사용되는 4k 이미지 같은 대용량 데이터 배치를 처리하는 데 따른 유연성을 보장합니다.