Le istanze P5 forniscono fino a 8 GPU NVIDIA H100 con un totale di 640 GB di memoria GPU HBM3 per istanza. Le istanze P5e forniscono fino a 8 GPU NVIDIA H200 con un totale di 1128 GB di memoria GPU HBM3e per istanza. Entrambe le istanze supportano fino a 900 GB/s di interconnessione GPU NVSwitch (per un totale di 3,6 TB/s di larghezza di banda bisezionale in ogni istanza), in modo che ogni GPU possa comunicare con ogni altra GPU nella stessa istanza con latenza single-hop.

Le GPU H100 e H200 di NVIDIA dispongono di un nuovo motore di trasformatore che gestisce in modo intelligente e sceglie dinamicamente tra calcoli FP8 e 16 bit. Questa funzionalità consente di velocizzare l'addestramento DL sugli LLM rispetto alle GPU A100 della generazione precedente. Per i carichi di lavoro HPC, le GPU H100 e H200 di NVIDIA dispongono di nuove istruzioni DPX che accelerano ulteriormente gli algoritmi di programmazione dinamica rispetto alle GPU A100.

Le istanze P5 e P5e forniscono fino a 3.200 Gb/s di rete EFAv2. EFAv2 offre un miglioramento fino al 50% delle prestazioni delle comunicazioni collettive per carichi di lavoro di addestramento distribuiti. EFAv2 è inoltre accoppiato a NVIDIA GPUDirect RDMA per consentire la comunicazione da GPU a GPU a bassa latenza tra i server con bypass del sistema operativo.

Le istanze P5 e P5e supportano i file system Amazon FSx per Lustre consentendo di accedere ai dati con le centinaia di GB/s di throughput e i milioni di IOPS necessari per i carichi di lavoro DL e HPC su larga scala. Ogni istanza P5 o P5e supporta anche fino a 30 TB di archiviazione SSD NVMe locale per un accesso rapido a set di dati di grandi dimensioni. Inoltre, è possibile utilizzare uno spazio di archiviazione economico e virtualmente illimitato con Amazon Simple Storage Service (Amazon S3).

SageMaker è un servizio completamente gestito per la creazione, l'addestramento e l'implementazione di modelli di ML. Se utilizzato insieme alle istanze P5, consente di dimensionare più facilmente fino a decine, centinaia o migliaia di GPU per addestrare rapidamente un modello su qualsiasi scala senza preoccuparsi di configurare cluster e pipeline di dati.

Le DLAMI forniscono ai ricercatori e agli esperti di ML l'infrastruttura e gli strumenti nel cloud necessari per velocizzare i processi di DL su qualsiasi scala. I Container per il Deep Learning, immagini Docker preinstallate con framework di DL, semplificano l'implementazione degli ambienti di ML personalizzati poiché consentono di saltare il complicato processo di creazione e ottimizzazione degli ambienti ex novo.

Se preferisci gestire i tuoi carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container, puoi implementare le istanze P5 con Amazon EKS o Amazon ECS.