Storage Transfer Service utilizza i metadati disponibili dal sistema di archiviazione di origine, come checksum e dimensioni dei file, per garantire che i dati scritti in Cloud Storage siano gli stessi letti dall'origine.
Quando sono disponibili i metadati del checksum
Se i metadati del checksum sono disponibili nell'origine, Storage Transfer Service utilizza la convalida del checksum end-to-end. Se i metadati del checksum sul sistema di archiviazione di origine indicano che i dati ricevuti da Storage Transfer Service non corrispondono ai dati di origine, Storage Transfer Service registra un errore per l'operazione di trasferimento. Esempi di sistemi di archiviazione che includono metadati di checksum sono la maggior parte degli oggetti Amazon Simple Storage Service (Amazon S3) e Microsoft Azure Blob Storage (con alcune eccezioni) e i trasferimenti HTTP (i metadati di checksum vengono forniti dall'utente).
Quando i metadati del checksum non sono disponibili
Quando gli agenti possono essere eseguiti vicino all'origine
Se i metadati del checksum non sono disponibili dal sistema di archiviazione di origine sottostante, ma gli agenti possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service tenta di leggere i dati di origine e calcolare un checksum prima di inviarli a Cloud Storage. Ciò si verifica quando sposti i dati dai file system a Cloud Storage.
Quando gli agenti non possono essere eseguiti vicino all'origine
Se i metadati del checksum non sono disponibili dal sistema di archiviazione di origine sottostante e gli agenti non possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service utilizza i metadati disponibili, ad esempio le dimensioni del file, per verificare che il file copiato in Cloud Storage corrisponda al file di origine.
Storage Transfer Service calcola anche un checksum dei dati "al volo" durante il trasferimento. Una volta archiviati i dati in Cloud Storage, Storage Transfer Service confronta il checksum calcolato con il checksum finale segnalato da Cloud Storage. Se i checksum non corrispondono, l'attività
non va a buon fine e viene visualizzato l'errore DATA_LOSS.
Il calcolo del checksum al volo viene utilizzato per i trasferimenti da origini che potrebbero non fornire checksum, ad esempio:
Controlli post-trasferimento
Una volta completato il trasferimento, ti consigliamo di eseguire controlli di integrità dei dati aggiuntivi per verificare che:
- Viene copiata la versione corretta dei file che cambiano nell'origine.
- Viene copiato il set e il numero corretti di file per verificare di aver configurato correttamente i job di trasferimento.
- I file sono stati copiati correttamente verificando i metadati dei file, come i checksum, le dimensioni e così via.