Instans P4 Amazon EC2

Performa tinggi untuk pelatihan ML dan aplikasi HPC di cloud

Mengapa harus Instans P4 Amazon EC2?

Instans P4d Amazon Elastic Compute Cloud (Amazon EC2) menghadirkan performa yang tinggi untuk pelatihan machine learning (ML) dan aplikasi komputasi performa tinggi (HPC) di cloud. Instans P4d didukung oleh GPU NVIDIA A100 Tensor Core terbaru dan menghasilkan throughput tinggi serta jaringan latensi rendah yang terdepan di industri. Instans ini mendukung jaringan instans 400 Gbps. Instans P4d menawarkan biaya yang lebih rendah hingga 60% untuk melatih model ML, termasuk rata-rata performa 2,5x lebih baik untuk model deep learning dibandingkan dengan instans P3 dan P3dn generasi sebelumnya.

Deployment instans P4d dilakukan di klaster berskala sangat besar yang disebut dengan Amazon EC2 UltraClusters yang terdiri dari komputasi, jaringan, dan penyimpanan dengan performa terbaik di cloud. Setiap EC2 UltraCluster adalah komputer super yang tercanggih di dunia yang memungkinkan pelanggan menjalankan pelatihan ML multisimpul dan beban kerja HPC terdistribusi yang paling kompleks. Anda dapat dengan mudah menskalakan hingga ribuan GPU NVIDIA A100 di EC2 UltraClusters berdasarkan kebutuhan proyek ML atau HPC Anda.

Peneliti, ilmuwan data, dan developer dapat menggunakan instans P4d untuk melatih model ML untuk berbagai kasus penggunaan seperti pemrosesan bahasa alami, deteksi dan klasifikasi objek, serta mesin rekomendasi. Mereka juga dapat menggunakannya untuk menjalankan aplikasi HPC seperti penemuan farmasi, analisis seismik, dan pemodelan keuangan. Tidak seperti sistem on-premise, Anda dapat mengakses kapasitas komputasi dan penyimpanan secara hampir tidak terbatas, menskalakan infrastruktur berdasarkan kebutuhan bisnis, dan memulai tugas pelatihan ML multisimpul atau aplikasi HPC terdistribusi yang digabungkan secara erat dalam hitungan menit, tanpa biaya penyiapan atau pemeliharaan.

Mengumumkan Instans P4d Amazon EC2 baru

Manfaat

Dengan GPU NVIDIA A100 Tensor Core generasi terbaru, setiap instans P4d memberikan performa DL rata-rata 2,5x lebih baik dibandingkan dengan instans P3 generasi sebelumnya. Instans P4d EC2 UltraClusters membantu developer, ilmuwan data, dan peneliti menjalankan beban kerja ML dan HPC mereka yang paling kompleks setiap harinya dengan memberikan akses ke performa kelas komputer super tanpa biaya di muka atau komitmen jangka panjang. Pengurangan waktu pelatihan dengan instans P4d dapat meningkatkan produktivitas sehingga memungkinkan developer berfokus pada misi inti dalam membangun kecerdasan ML ke dalam aplikasi bisnis.

Developer dapat dengan lancar menskalakan hingga ribuan GPU dengan instans P4d EC2 UltraClusters. Jaringan throughput tinggi dan latensi rendah dengan dukungan untuk jaringan instans 400 Gbps, Elastic Fabric Adapter (EFA), dan teknologi GPUDirect RDMA membantu melatih model ML secara cepat menggunakan teknik penskalaan ke luar/terdistribusi. EFA menggunakan NVIDIA Collective Communications Library (NCCL) untuk menskalakan ke ribuan GPU, dan teknologi GPUDirect RDMA memungkinkan komunikasi GPU ke GPU berlatensi rendah di antara instans P4d.

Instans P4d menawarkan biaya hingga 60% lebih rendah untuk melatih model ML dibandingkan dengan instans P3. Selain itu, instans P4d dapat dibeli sebagai Instans Spot. Instans Spot memanfaatkan kapasitas instans EC2 yang tidak terpakai dan dapat menurunkan biaya Amazon EC2 secara signifikan dengan diskon hingga 90% dari harga Sesuai Permintaan. Dengan biaya pelatihan ML yang lebih rendah dengan instans P4d, anggaran dapat dialokasikan ulang untuk membangun lebih banyak kecerdasan ML ke aplikasi bisnis.

AWS Deep Learning AMI (DLAMI) dan Amazon Deep Learning Containers memudahkan deployment lingkungan DL P4d dalam hitungan menit karena berisi pustaka dan alat kerangka kerja DL yang dibutuhkan. Anda juga dapat menambahkan pustaka dan alat Anda sendiri dengan mudah ke citra ini. Instans P4d mendukung kerangka kerja ML populer seperti TensorFlow, PyTorch, dan MXNet. Selain itu, instans P4d didukung oleh layanan AWS utama untuk ML, manajemen, dan orkestrasi seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, dan AWS ParallelCluster.

Fitur

GPU NVIDIA A100 Tensor Core menghadirkan percepatan skala besar yang belum pernah ada sebelumnya untuk ML dan HPC. Tensor Core generasi ketiga NVIDIA A100 mengakselerasi setiap beban kerja presisi sehingga mempercepat waktu untuk mendapatkan wawasan dan waktu masuk pasar. Setiap GPU A100 menawarkan lebih dari 2,5x performa komputasi dibandingkan dengan GPU V100 generasi sebelumnya dan dilengkapi dengan memori GPU performa tinggi HBM2 sebesar 40 GB (di instans P4d) atau HBM2e sebesar 80 GB (di instans P4de). Memori GPU yang lebih tinggi secara khusus memberikan manfaat untuk pelatihan beban kerja tersebut pada set data besar dari data resolusi tinggi. GPU NVIDIA A100 menggunakan throughput interkoneksi GPU NVSwitch sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya di instans yang sama pada throughput dua arah 600 GB/dtk yang sama dan dengan latensi hop tunggal.

Instans P4d menyediakan jaringan 400 Gbps guna membantu pelanggan untuk secara lebih baik menskalakan ke luar beban kerja terdistribusi seperti pelatihan multisimpul secara lebih efisien dengan jaringan throughput tinggi di antara instans P4d dan di antara instans P4d serta layanan penyimpanan seperti Amazon Simple Storage Service (Amazon S3) dan FSx for Lustre. EFA adalah antarmuka jaringan kustom yang didesain oleh AWS untuk membantu menskalakan aplikasi ML dan HPC ke ribuan GPU. Untuk lebih mengurangi latensi, EFA digabungkan dengan NVIDIA GPUDirect RDMA agar memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara berbagai server tanpa melalui OS.

Akses penyimpanan dengan throughput tinggi dan latensi rendah berskala petabita menggunakan FSx for Lustre atau penyimpanan hemat biaya yang hampir tidak terbatas dengan Amazon S3 pada kecepatan 400 Gbps. Untuk beban kerja yang memerlukan akses cepat ke set data besar, setiap instans P4d juga menyertakan penyimpanan SSD berbasis NVMe sebesar 8 TB dengan throughput baca 16 GB/dtk.

Instans P4d dibangun di AWS Nitro System, yang merupakan kumpulan kaya atas komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus mengurangi overhead virtualisasi.

Testimoni pelanggan

Berikut adalah beberapa contoh cara pelanggan dan partner dalam mencapai tujuan bisnis mereka dengan instans P4 Amazon EC2.

  • Toyota Research Institute (TRI)

    Toyota Research Institute (TRI), yang didirikan pada tahun 2015, sedang mengembangkan kemudi otomatis, robotika, dan teknologi amplifikasi manusia lainnya untuk Toyota.

    Di TRI, kami berupaya membangun masa depan yang memungkinkan setiap orang memiliki kebebasan untuk bergerak. Instans P3 generasi sebelumnya membantu kami mengurangi waktu pelatihan model ML dari hitungan hari menjadi hitungan jam, dan kami berharap dapat menggunakan instans P4d karena memori GPU tambahan dan format float yang lebih efisien akan memungkinkan tim machine learning kami melatih model yang lebih kompleks dengan kecepatan yang lebih tinggi.

    Mike Garrison, Technical Lead, Infrastructure Engineering, TRI
  • TRI-AD

    Di TRI-AD, kami berupaya membangun masa depan yang memungkinkan setiap orang memiliki kebebasan untuk bergerak dan bereksplorasi dengan fokus pada pengurangan cedera serta kematian saat berkendara menggunakan pengemudian adaptif dan kota pintar. Dengan instans P4d Amazon EC2, kami dapat mengurangi waktu pelatihan untuk pengenalan objek sebesar 40% dibandingkan dengan instans GPU generasi sebelumnya tanpa modifikasi apa pun pada kode yang sudah ada.

    Junya Inada, Director of Automated Driving (Recognition), TRI-AD
  • TRI-AD

    Melalui penggunaan instans P4d Amazon EC2, kami dapat langsung mengurangi biaya pelatihan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami meningkatkan jumlah tim yang bekerja pada pelatihan model. Peningkatan jaringan di P4d memungkinkan kami menskalakan hingga puluhan instans secara efisien, yang memberi kami ketangkasan signifikan agar dapat dengan cepat mengoptimalkan, melatih ulang, dan men-deploy model di mobil uji atau lingkungan simulasi untuk pengujian lebih lanjut.

    Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD
  • GE Healthcare

    GE Healthcare adalah inovator teknologi medis dan solusi digital yang terkemuka di dunia. GE Healthcare memungkinkan dokter membuat keputusan yang lebih cepat dan tepat melalui perangkat cerdas, analitik data, aplikasi, serta layanan yang didukung oleh platform cerdas mereka, Edison.

    Di GE Healthcare, kami memberi para dokter alat yang membantu mereka mengagregasikan data, menerapkan AI dan analitik pada data tersebut, serta mengungkap wawasan yang meningkatkan hasil pasien, mendorong efisiensi, dan menghapus kesalahan. Perangkat pencitraan medis menghasilkan data dalam jumlah besar yang perlu diproses oleh para ilmuwan data kami. Dengan klaster GPU sebelumnya, dibutuhkan waktu berhari-hari untuk melatih model AI yang kompleks, seperti Progressive GAN, untuk simulasi dan menampilkan hasilnya. Menggunakan instans P4d yang baru telah mengurangi waktu pemrosesan dari hitungan hari menjadi jam. Kami mencapai kecepatan dua hingga tiga kali lebih tinggi saat melatih model dengan berbagai ukuran citra, sekaligus mencapai performa yang lebih baik dengan peningkatan ukuran batch dan produktivitas yang lebih tinggi dengan siklus pengembangan model yang lebih cepat.

    Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare
  • HEAVY.AI

    HEAVY.AI adalah pelopor dalam analitik terakselerasi. Platform HEAVY.AI digunakan dalam bisnis dan pemerintahan untuk menemukan wawasan dalam data di luar batas alat analitik utama.

    Di HEAVY.AI, kami berupaya membangun masa depan yang memungkinkan ilmu data dan analitik berpadu untuk mengurai serta mengombinasikan silo data. Pelanggan memanfaatkan data dalam jumlah besar yang dapat mencakup lokasi dan waktu untuk membangun gambaran lengkap tidak hanya tentang apa yang terjadi, tetapi juga waktu dan tempatnya melalui visualisasi terperinci data temporal spasial. Teknologi kami dapat melihat baik itu hutan maupun pepohonan. Melalui penggunaan instans P4d Amazon EC2, kami dapat mengurangi biaya deployment platform kami secara signifikan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami untuk menskalakan set data besar secara hemat biaya. Peningkatan jaringan pada A100 telah meningkatkan efisiensi kami dalam menskalakan miliaran baris data dan memungkinkan pelanggan kami mendapatkan wawasan lebih cepat.

    Ray Falcione, VP of US Public Sector, HEAVY.AI
  • Zenotech Ltd.

    Zenotech Ltd. mendefinisikan kembali rekayasa online melalui penggunaan Cloud HPC yang menghadirkan model lisensi sesuai permintaan beserta manfaat performa ekstrem dengan memanfaatkan GPU.

    Di Zenotech, kami sedang mengembangkan alat untuk memungkinkan desainer menciptakan produk yang lebih efisien dan ramah lingkungan. Kami bekerja di seluruh industri, dan alat kami memberikan wawasan performa produk yang lebih besar melalui penggunaan simulasi skala besar. Penggunaan instans P4d AWS memungkinkan kami menjalankan simulasi 3,5x lebih cepat dibandingkan dengan GPU generasi sebelumnya. Peningkatan kecepatan ini secara signifikan mengurangi waktu penyelesaian kami, sehingga memungkinkan pelanggan membawa desain ke pasar lebih cepat atau melakukan simulasi dengan fidelitas yang lebih tinggi dibandingkan yang dapat dilakukan sebelumnya.

    Jamil Appa, Director dan Cofounder, Zenotech
  • Aon

    Aon adalah perusahaan layanan profesional global terkemuka yang menyediakan berbagai solusi risiko, pensiun, dan kesehatan. Aon PathWise adalah solusi manajemen risiko HPC yang berbasis GPU dan mudah diskalakan yang dapat digunakan oleh perusahaan asuransi dan reasuransi, bank, dan dana pensiun untuk mengatasi tantangan utama yang ada saat ini seperti pengujian strategi lindung nilai, prakiraan peraturan dan ekonomi, serta penganggaran. 

    Di PathWise Solutions Group LLC, produk kami memungkinkan perusahaan asuransi, reasuransi, dan dana pensiun untuk mengakses teknologi generasi berikutnya agar dapat dengan cepat menyelesaikan tantangan utama asuransi saat ini, seperti machine learning, pengujian strategi lindung nilai, pelaporan regulasi dan keuangan, perencanaan bisnis dan pemrakiraan ekonomi, serta pengembangan dan penetapan harga produk baru. Melalui penggunaan instans P4d Amazon EC2, kami dapat memberikan peningkatan kecepatan yang luar biasa dalam penghitungan presisi tunggal dan ganda dibandingkan instans GPU generasi sebelumnya untuk penghitungan berat sehingga memungkinkan rentang penghitungan dan prakiraan baru dilakukan oleh klien untuk pertama kalinya. Kecepatan adalah hal yang sangat penting, dan kami terus memberikan nilai yang berarti serta teknologi terbaru kepada pelanggan berkat instans baru dari AWS.

    Van Beach, Global Head of Life Solutions, Aon Pathwise Strategy and Technology Group
  • Rad AI

    Terdiri atas ahli radiologi dan AI, Rad AI membangun produk yang memaksimalkan produktivitas spesialis radiologi, yang pada akhirnya menjadikan layanan kesehatan lebih mudah diakses dan meningkatkan hasil pasien. Baca studi kasus untuk mempelajari selengkapnya

    Di Rad AI, kami memiliki misi untuk meningkatkan akses dan kualitas layanan kesehatan untuk semua orang. Dengan berfokus pada alur kerja pencitraan medis, Rad AI menghemat waktu, mengurangi kelelahan, dan meningkatkan akurasi para spesialis radiologi. Kami menggunakan AI untuk mengotomatiskan alur kerja radiologi dan membantu menyederhanakan pelaporan radiologi. Dengan instans P4d EC2 yang baru, kami mendapati inferensi yang lebih cepat dan kemampuan untuk melatih model 2,4x lebih cepat dengan akurasi yang lebih tinggi dibandingkan dengan instans P3 generasi sebelumnya. Hal ini memungkinkan diagnosis yang lebih cepat dan akurat, serta akses yang lebih besar ke layanan radiologi berkualitas tinggi yang disediakan oleh pelanggan kami di AS.

    Doktor Gurson, Cofounder, Rad AI

Detail produk

Ukuran Instans vCPU Memori Instans (GiB) GPU – A100 Memori GPU Bandwidth Jaringan (Gbps) GPUDirect RDMA Peer to Peer GPU Penyimpanan Instans (GB) Bandwidth EBS (Gbps) Harga sesuai permintaan/jam Instans Cadangan 1 Tahun Efektif Per Jam * Instans Cadangan 3 Tahun Efektif Per Jam *
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (pratinjau) 96 1152 8 640 GB
HBM2e
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 40,96 USD 24,01 USD 14,46 USD
* Harga yang ditampilkan adalah untuk Linux/Unix di Wilayah AWS AS Timur (Virginia Utara) dan dibulatkan ke sen terdekat. Untuk detail harga lengkap, lihat harga Amazon EC2.

Instans P4d tersedia di Wilayah AS Timur (Virginia Utara dan Ohio), AS Barat (Oregon), Asia Pasifik (Seoul dan Tokyo), dan Eropa (Frankfurt dan Irlandia). Instans P4de tersedia di Wilayah AS Timur (Virginia Utara) dan AS Barat (Oregon).

Pelanggan dapat membeli instans P4d dan P4de sebagai Instans Sesuai Permintaan, Instans Terpesan, Instans Spot, dan Host Khusus, atau sebagai bagian dari Savings Plan.

Memulai menggunakan instans P4d untuk ML

Amazon SageMaker adalah layanan terkelola penuh untuk membangun, melatih, dan men-deploy model ML. Saat digunakan bersama dengan instans P4d, pelanggan dapat dengan mudah menskalakan puluhan, ratusan, atau ribuan GPU untuk melatih model secara cepat pada semua skala tanpa perlu khawatir dengan penyiapan klaster dan pipeline data.

DLAMI menyediakan infrastruktur dan alat bagi praktisi serta peneliti ML untuk mempercepat DL di cloud, pada semua skala. Kontainer Deep Learning adalah citra Docker yang sudah terinstal kerangka kerja DL untuk memudahkan deployment lingkungan ML kustom secara cepat dengan memungkinkan Anda melompati proses yang kompleks dalam membangun dan mengoptimalkan lingkungan dari awal.

Jika Anda lebih memilih untuk mengelola beban kerja dalam kontainer anda sendiri melalui layanan orkestrasi kontainer, Anda dapat men-deploy instans P4d dengan Amazon EKS atau Amazon ECS.

Memulai menggunakan instans P4d untuk HPC

Instans P4d sangat cocok untuk menjalankan simulasi rekayasa, keuangan komputasional, analisis seismik, pemodelan molekul, genomika, rendering, dan beban kerja HPC berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan yang cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua hal tersebut. Instans P4d mendukung EFA yang memungkinkan aplikasi HPC menggunakan Antarmuka Pengalihan Pesan (MPI) untuk menskalakan ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.

Pelajari selengkapnya