Storage Transfer Service verwendet Metadaten aus dem Quellspeichersystem, z. B. Prüfsummen und Dateigrößen, um dafür zu sorgen, dass in Cloud Storage geschriebene Daten dieselben Daten aus der Quelle lesen.
Wenn Prüfsummenmetadaten verfügbar sind
Wenn Prüfsummenmetadaten in der Quelle verfügbar sind, verwendet der Storage Transfer Service die End-to-End-Prüfsummenvalidierung. Wenn die Prüfsummenmetadaten im Quellspeichersystem darauf hinweisen, dass die vom Storage Transfer Service empfangenen Daten nicht mit den Quelldaten übereinstimmen, zeichnet der Storage Transfer Service einen Fehler für den Übertragungsvorgang auf. Beispiele für Speichersysteme, die Prüfsummenmetadaten enthalten, sind die meisten Amazon Simple Storage Service (Amazon S3) und Microsoft Azure Blob Storage-Objekte (mit einigen Ausnahmen) sowie HTTP-Übertragungen (Prüfsummen-Metadaten werden vom Nutzer bereitgestellt).
Wenn keine Prüfsummenmetadaten verfügbar sind
Wenn Agents in der Nähe der Quelle ausgeführt werden können
Wenn im zugrunde liegenden Quellspeichersystem keine Prüfsummenmetadaten verfügbar sind, aber Agents lokal in der Nähe des Quellspeichersystems ausgeführt werden können, versucht der Storage Transfer Service, die Quelldaten zu lesen und eine Prüfsumme zu berechnen, bevor die Daten an Cloud Storage gesendet werden. Dies tritt auf, wenn Daten aus Dateisystemen in Cloud Storage verschoben werden.
Wenn Agents nicht in der Nähe der Quelle ausgeführt werden können
Wenn für das zugrunde liegende Quellspeichersystem keine Prüfsummenmetadaten verfügbar sind und Agents nicht lokal im Quellspeichersystem ausgeführt werden können, verwendet der Storage Transfer Service verfügbare Metadaten wie die Dateigröße, um zu prüfen, ob die in Cloud Storage kopierte Datei mit der Quelldatei übereinstimmt.
Storage Transfer Service berechnet auch eine Prüfsumme der Daten „on-the-fly“ während der Übertragung. Sobald die Daten in Cloud Storage gespeichert sind, vergleicht Storage Transfer Service die berechnete Prüfsumme mit der endgültigen Prüfsumme, die von Cloud Storage gemeldet wird. Wenn die Prüfsummen nicht übereinstimmen, schlägt die Aufgabe mit dem Fehler DATA_LOSS fehl.
Die On-the-fly-Prüfsummenberechnung wird für Übertragungen aus Quellen verwendet, die möglicherweise keine Prüfsummen bereitstellen, z. B.:
Nach der Übertragung
Wenn die Übertragung abgeschlossen ist, sollten Sie zusätzliche Datenintegritätsprüfungen zur Validierung durchführen:
- Für Dateien, die sich in der Quelle ändern, wird die richtige Version der Dateien kopiert.
- Der korrekte Satz und die Anzahl der Dateien werden kopiert, um zu prüfen, ob Sie die Übertragungsjobs richtig eingerichtet haben.
- Die Dateien wurden korrekt kopiert, indem die Metadaten der Dateien überprüft wurden, z. B. Dateiprüfungssummen, Dateigröße usw.