Le service de transfert de stockage utilise les métadonnées disponibles dans le système de stockage source, telles que les sommes de contrôle et les tailles de fichiers, pour garantir que les données écrites dans Cloud Storage sont les mêmes que celles lues à partir de la source.
Les métadonnées de somme de contrôle sont disponibles
Si des métadonnées de somme de contrôle sont disponibles sur la source, le service de transfert de stockage utilise la validation de somme de contrôle de bout en bout. Si les métadonnées de somme de contrôle situées sur le système de stockage source indiquent que les données reçues par le service de transfert de stockage ne correspondent pas aux données sources, le service de transfert de stockage enregistre un échec pour l'opération de transfert. Voici des exemples de systèmes de stockage qui incluent des métadonnées de somme de contrôle : la plupart des objets Amazon Simple Storage Service (Amazon S3) et Microsoft Azure Blob Storage (à quelques exceptions près), et les transferts HTTP (les métadonnées de somme de contrôle sont fournies par l'utilisateur).
Lorsque les métadonnées de somme de contrôle ne sont pas disponibles
Lorsque les agents peuvent s'exécuter près de la source
Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent, mais que des agents peuvent être exécutés localement à proximité du système de stockage source, le service de transfert de stockage tente de lire les données sources et de calculer la somme de contrôle avant d'envoyer les données à Cloud Storage. Cela se produit lors du transfert de données des systèmes de fichiers vers Cloud Storage.
Lorsque les agents ne peuvent pas s'exécuter près de la source
Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent et que les agents ne peuvent pas être exécutés localement à proximité du système de stockage source, le service de transfert de stockage utilise les métadonnées disponibles, telles que la taille du fichier, pour vérifier que le fichier copié dans Cloud Storage correspond au fichier source.
Le service de transfert de stockage calcule également une somme de contrôle des données "à la volée" lors de leur transfert. Une fois les données stockées dans Cloud Storage, le service de transfert de stockage compare la somme de contrôle qu'il a calculée à la somme de contrôle finale signalée par Cloud Storage. Si les sommes de contrôle ne correspondent pas, la tâche échoue avec une erreur DATA_LOSS.
Le calcul de somme de contrôle à la volée est utilisé pour les transferts à partir de sources qui ne fournissent pas de sommes de contrôle, par exemple :
Après les vérifications de transfert
Une fois le transfert terminé, nous vous recommandons d'effectuer des vérifications supplémentaires d'intégrité des données pour vérifier les éléments suivants :
- La version correcte des fichiers est copiée, pour ceux qui changent au niveau de la source.
- L'ensemble et le nombre correct de fichiers sont copiés pour vérifier que vous avez correctement configuré les tâches de transfert.
- Les fichiers ont été correctement copiés, en vérifiant les métadonnées des fichiers, telles que les sommes de contrôle des fichiers, la taille des fichiers, etc.