Caratteristiche di AWS DataSync

Per i trasferimenti di dati online, AWS DataSync semplifica, automatizza e accelera la copia di grandi quantità di dati tra archiviazione on-premises, posizioni edge o altri fornitori di servizi cloud e i servizi di AWS Storage. DataSync può copiare i dati su e da condivisioni Network File System (NFS), condivisioni di Server Message Block (SMB), file system distribuiti Hadoop (HDFS), archiviazione di oggetti autogestiti, archiviazione di oggetti in altri cloud come Google Cloud Storage e Wasabi Cloud Storage (consulta l’elenco completo di cloud di supporto), Azure Files, Azure Blob Storage (compreso Azure Data Lake Storage Gen2), archiviazione compatibile con Amazon S3 su Edge Snowball, Amazon Simple Storage Service (Amazon S3), file system Amazon Elastic File System (Amazon EFS), file system Amazon FSx per Windows File Server, file system Amazon FSx per Lustre, file system Amazon FSx per OpenZFS e file system Amazon FSx per NetApp ONTAP.

Per velocizzare il trasferimento dati, AWS DataSync utilizza un protocollo di trasferimento progettato da AWS, indipendente dal protocollo di archiviazione. Il protocollo esegue ottimizzazioni su come, quando e quali dati vengono inviati sulla rete. Alcune delle ottimizzazioni della rete effettuate da DataSync includono trasferimenti incrementali, compressione in linea e rilevamento di file sparsi, nonché convalida e crittografia dei dati in linea.

Le connessioni tra l'agente DataSync locale e i componenti del servizio nel cloud sono eseguiti in simultanea su più thread, consentendo di massimizzare le prestazioni sulla tua Wide Area Network (WAN). Un singolo processo DataSync è in grado di sfruttare appieno 10 Gbps su un collegamento di rete tra l'ambiente On-Premise e AWS.

Transport Layer Security (TLS) consente di crittografare tutti i dati in transito tra l'agente DataSync e il servizio DataSync. DataSync supporta l'utilizzo della crittografia dei dati a riposo di default per i bucket Amazon S3. DataSync supporta anche la crittografia dei dati a riposo e in transito per Amazon EFS e Amazon FSx.

DataSync garantisce l'integrità dei dati in arrivo. Per ogni trasferimento, il servizio esegue controlli di integrità di dati sia in transito che a riposo. Questi controlli assicurano che i dati scritti per la destinazione corrispondano ai dati letti dalla fonte, convalidandone la coerenza.

AWS DataSync aiuta a spostare i dati tra AWS, file system on-premise e altri servizi di archiviazione nel cloud. AWS ha continuato a estendere i suoi servizi cloud per aiutare i clienti a semplificare, gestire e governare la loro infrastruttura e applicazioni ibride e multicloud. Per i clienti che operano in ambienti multicloud, AWS DataSync ora può spostare dati da e verso lo storage su vari cloud. Oltre al supporto per Google Cloud Storage, Azure Files e Azure Blob Storage, con DataSync puoi spostare i dati degli oggetti su larga scala tra uno storage compatibile con S3 su altri cloud e servizi di archiviazione AWS come Amazon S3. Ciò include, tra l’altro, il supporto per l'archiviazione di oggetti su Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Spaces e Backblaze.

Ulteriori informazioni:

• Semplifica lo spostamento di dati multicloud ovunque siano archiviati con AWS DataSync
• Migrazione di Google Cloud Storage su Amazon S3 utilizzando AWS DataSync
• Configurazione dei trasferimenti AWS DataSync con Google Cloud Storage
• Configurazione dei trasferimenti AWS DataSync con Microsoft Azure Blob Storage
• Migrazione di Azure Blob Storage su Amazon S3 utilizzando AWS DataSync
• Come trasferire i dati dalle condivisioni SMB Azure Files ad AWS utilizzando AWS
• Migrazione di DigitalOcean Spaces su Amazon S3 utilizzando AWS DataSync
• Come il London Stock Exchange Group ha migrato 30 PB di dati di mercato utilizzando AWS DataSync
• Migrazione di Oracle Cloud Infrastructure Object Storage su Amazon S3 utilizzando AWS DataSync

Il trasferimento di dati caldi o freddi non dovrebbe ostacolare la tua attività. DataSync è dotato di controlli granulari per ottimizzare i consumi di larghezza di banda. Accelera la velocità di trasferimento fino a 10 Gbps durante le ore di inattività e imposta limiti quando la disponibilità di rete è necessaria altrove.

L'agente DataSync si connette ai sistemi di archiviazione esistenti tramite i protocolli NFS e SMB standard del settore, al cluster Hadoop come client HDFS o all'archiviazione di oggetti autogestita o Google Cloud Storage, utilizzando l'interfaccia di programmazione dell’applicazione (API) di Amazon S3 o all’archiviazione di Azure Blob tramite l’API Blob. L'agente trasferisce rapidamente i dati e li scrive nel bucket designato di Amazon S3, nel file system Amazon EFS, nel file system Amazon FSx per Windows File Server o nel file system Amazon FSx.

Le autorizzazioni per i file e i metadati vengono conservate durante la copia di oggetti e/o dati tra Amazon S3, Amazon EFS, Amazon FSx per Windows File Server, Amazon FSx per Lustre, Amazon FSx per OpenZFS o Amazon FSx per NetApp ONTAP.

Nel momento in cui DataSync copia i dati in Amazon S3, converte in modo automatico ciascun file in un singolo oggetto S3 in una relazione 1:1, conservando i metadati POSIX dalle condivisioni NFS o HDFS come metadati degli oggetti Amazon S3. Questo significa che, quando si copiano oggetti contenenti metadati di file system in formati file, si ripristinano i metadati dei file originali che DataSync ha precedentemente copiato in S3.

DataSync è dotato di un meccanismo di pianificazione integrato che ti permette di eseguire periodicamente processi di trasferimento dei dati per individuare e copiare le modifiche dal sistema di archiviazione di origine alla destinazione. Puoi programmare i tuoi processi utilizzando la console di AWS DataSync o l'interfaccia a riga di comando (CLI) AWS senza la necessità di scrivere script per gestire i trasferimenti ripetuti. La pianificazione dei processi esegue automaticamente i processi secondo il programma configurato, con opzioni orarie, giornaliere o settimanali fornite direttamente nella console AWS.

I report sulle attività di DataSync forniscono file di output in formato JSON che includono un riepilogo e report dettagliati per tutti i file trasferiti, ignorati, verificati ed eliminati, che consentono di verificare e controllare facilmente le operazioni di trasferimento dei dati per ogni esecuzione di attività. I report sulle attività vengono generati dopo il completamento delle attività di trasferimento e vengono archiviati nel bucket Amazon S3. Ciò consente di utilizzare facilmente servizi AWS come AWS Glue, Amazon Athena e Amazon QuickSight per catalogare, analizzare e visualizzare automaticamente l'output dei report sulle attività per verificare l'avanzamento dei trasferimenti di dati in tutte le esecuzioni di attività. I report sulle attività semplificano il monitoraggio e il controllo, consentendoti di comprendere facilmente le tendenze comuni di esecuzione delle attività o i modelli di errore e di ottenere informazioni fondamentali sui processi di trasferimento dei dati.

Amazon CloudWatch consente il monitoraggio dello stato di eventuali trasferimenti DataSync attualmente in corso e il controllo della cronologia dei trasferimenti precedenti di dati. CloudWatch Metrics consente di visualizzare il numero di file e la quantità di dati che sono stati copiati. Puoi anche consultare CloudWatch Logs per informazioni sui singoli file trasferiti in un determinato momento, nonché sui risultati della verifica dell'integrità eseguita da DataSync. Ciò semplifica il monitoraggio, la comunicazione e la risoluzione dei problemi e ti consente di fornire aggiornamenti tempestivi alle parti interessate. Al completamento dei processi di trasferimento, è inoltre possibile attivare CloudWatch Events per automatizzare flussi di lavoro dipendenti. Qualora volessi effettuare una verifica, puoi consultare AWS CloudTrail, che registra tutte le operazioni eseguite da DataSync.

DataSync Discovery di AWS semplifica la pianificazione della migrazione e accelera la migrazione dei dati verso AWS fornendo visibilità sulle prestazioni e l'utilizzo dell'archiviazione on-premises. Inoltre, offre consigli per la migrazione dei dati verso servizi di AWS Storage, come Amazon FSx per NetApp ONTAP, Amazon FSx per Windows File Server e Amazon Elastic File System (EFS). DataSync Discovery permette di comprendere più a fondo le prestazioni e l'utilizzo della capacità dell'archiviazione on-premise attraverso funzioni automatizzate di raccolta e l'analisi dei dati. In tal modo, potrai identificare rapidamente i dati da migrare e utilizzare i suggerimenti generati per selezionare i servizi di AWS Storage conformi ai tuoi requisiti di prestazioni e capacità.

Con AWS DataSync, paghi solo per l'utilizzo del servizio. Non sono richieste licenze software, contratti o costi di manutenzione. Presenta quindi un costo totale di proprietà (TCO) inferiore rispetto a quello stimato per la costruzione, la gestione e l'ottimizzazione manuali di trasferimenti di script ad alte prestazioni, nonché un costo totale inferiore rispetto all'acquisto e all'esecuzione di strumenti di trasferimento commerciale.

Utilizzando AWS DataSync Discovery, puoi eseguire i processi di rilevamento per 31 giorni e ricevere suggerimenti gratuiti. DataSync Discovery mantiene i dati raccolti e i suggerimenti associati per 60 giorni dopo il completamento del processo.

DataSync funziona in modo nativo con i servizi di sicurezza, monitoraggio e verifica AWS per semplificare il trasferimento dei dati, offrendo un'esperienza di gestione ottimizzata per i team IT, archiviazione e DevOps. Oltre alle integrazioni con Amazon S3, Amazon EFS e Amazon FSx, DataSync supporta gli endpoint del cloud privato virtuale (VPC) (alimentati da AWS PrivateLink) per spostare i file direttamente nel tuo VPC Amazon. Come per gli altri servizi AWS, è possibile utilizzare AWS Identity and Access Management (IAM) per gestire in modo sicuro l'accesso a DataSync. Allo stesso modo, puoi configurare un ruolo IAM per controllare i servizi che eseguono l'accesso al tuo bucket Amazon S3.