Perché Trainium?
I chip AWS Trainium sono una famiglia di chip di intelligenza artificiale creati appositamente da AWS per l'addestramento e l'inferenza dell'IA per offrire prestazioni elevate riducendo i costi.
Il chip AWS Trainium di prima generazione alimenta le istanze Trn1 di Amazon Elastic Compute Cloud (Amazon EC2), che hanno costi di addestramento fino al 50% inferiori rispetto alle istanze Amazon EC2 comparabili. Molti clienti, tra cui Databricks, Ricoh, NinjaTech AI e Arcee AI, si stanno rendendo conto dei vantaggi in termini di prestazioni e costi delle istanze Trn1.
Il chip AWS Trainium2 offre prestazioni fino a 4 volte superiori rispetto a Trainium di prima generazione. Le istanze Trn2 di Amazon EC2 basate su Trainium2 sono create appositamente per l'IA generativa e sono le istanze EC2 più potenti per l'addestramento e l'implementazione di modelli con un numero di parametri che va da centinaia di miliardi fino a oltre un trilione. Le istanze Trn2 offrono un rapporto prezzo/prestazioni migliore del 30-40% rispetto all'attuale generazione di istanze EC2 P5e e P5en basate su GPU. Le istanze Trn2 sono dotate di 16 chip Trainium2 interconnessi con NeuronLink, la nostra interconnessione chip-to-chip proprietaria. Puoi utilizzare le istanze Trn2 per addestrare e implementare i modelli più impegnativi, che includono modelli linguistici di grandi dimensioni (LLM), modelli multimodali e trasformatori di diffusione, al fine di creare un'ampia gamma di applicazioni di IA generativa di nuova generazione. Gli UltraServer Trn2, un'offerta EC2 completamente nuova (disponibile in anteprima), sono ideali per i modelli più grandi che richiedono più memoria e larghezza di banda di memoria rispetto a quelle fornite dalle istanze EC2 autonome. Il design UltraServer utilizza NeuronLink per connettere 64 chip Trainium2 su quattro istanze Trn2 in un unico nodo, sbloccando nuove funzionalità. Per l'inferenza, gli UltraServer consentono di fornire tempi di risposta leader del settore per creare le migliori esperienze in tempo reale. Per l'addestramento, gli UltraServer aumentano la velocità e l'efficienza dell'addestramento dei modelli, grazie a una comunicazione collettiva più rapida per il parallelismo dei modelli rispetto alle istanze autonome.
Puoi iniziare ad addestrare e implementare i modelli con le istanze Trn2 e Trn1 con il supporto nativo per i framework di machine learning (ML) più diffusi come PyTorch e JAX.