Übersicht
Datenübertragung von Amazon S3 Glacier Tresoren zu Amazon S3 stellt wieder her, kopiert und überträgt Archive, die in einem Amazon-Simple-Storage-Service-Glacier-Tresor (Amazon S3 Glacier) gespeichert sind, zu einem S3 Bucket und einer Speicherklasse Ihrer Wahl, einschließlich der S3 Glacier Speicherklassen. Diese AWS-Lösung vereinfacht die Verwendung Ihrer Daten, indem sie den Übertragungsprozess automatisiert und archivierte Daten zugänglicher und kostengünstiger macht.
Hinweis:
Amazon-S3-Glacier-Speicherklassen, einschließlich Glacier Deep Archive, Glacier Flexible Retrieval und Glacier Instant Retrieval unterscheiden sich von den S3-Speicherklassen. Besuchen Sie diese Webseite, um mehr über diese Speicherklassen zu erfahren.
Vorteile
Die Automatisierung spart Zeit und minimiert die Wahrscheinlichkeit menschlicher Fehler während des Datentransferprozesses, was zu einem zuverlässigeren und konsistenteren Betrieb beiträgt.
Die Übertragung von Daten aus Amazon-S3-Glacier-Tresoren in S3-Buckets erleichtert die Datenanalyse und -nutzung. Daten sind für Anwendungen und Analysetools leichter zugänglich, ohne dass die Wiederherstellungszeiten verlängert werden müssen.
Amazon-S3-Speicherklassen ermöglichen das Tagging und einen schnelleren Zugriff auf Ihre Daten. Zu den Vorteilen des Tagging gehören Datenklassifizierung, detaillierte Zugriffskontrolle, Lebenszyklusmanagement und Kostenzuweisung.
Bei Daten, auf die selten zugegriffen wird, können in der AWS-Region USA Ost (Ohio) mit der Speicherklasse Amazon S3 Glacier Deep Archive im Vergleich zu einem S3-Glacier-Tresor fast 75 % der Speicherkosten eingespart werden.
Technische Details
Sie können diese Architektur mit dem Implementierungsleitfaden und der dazugehörigen Vorlage für AWS CloudFormation automatisch bereitstellen.
Schritt 1
Rufen Sie einen Übertragungsworkflow mithilfe eines AWS Systems Manager-Dokuments (SSM-Dokument) auf.
Schritt 2
Das SSM-Dokument startet einen Workflow von AWS Step Functions Orchestrator.
Schritt 3
Der Workflow von Step Functions Orchestrator initiiert einen verschachtelten Step-Functions-Get-Inventory-Workflow zum Abrufen der Inventardatei.
Schritt 4
Nach Abschluss der Inventarabfrage ruft die Lösung den verschachtelten Step-Functions-Initiate-Retrieval-Workflow auf.
Schritt 5
Wenn ein Auftrag fertig ist, sendet Amazon S3 Glacier eine Benachrichtigung an ein Thema von Amazon Simple Notification Service (Amazon SNS), das auf den Abschluss des Auftrags hinweist.
Schritt 6
Die Lösung speichert alle Benachrichtigungen über den Abschluss von Aufträgen in der Benachrichtigungswarteschlange von Amazon Simple Queue Service (Amazon SQS).
Schritt 7
Wenn ein Archivierungsauftrag bereit ist, ruft die Benachrichtigungswarteschlange von Amazon SQS die AWS-Lambda-Funktion „Notifications Processor“ auf. Diese Lambda-Funktion bereitet die ersten Schritte für den Archivabruf vor.
Schritt 8
Die Lambda-Funktion „Notifications Processor“ platziert Nachrichten zum Abrufen von Blöcken in der Amazon-SQS-Warteschlange „Chunks Retrieval“ für die Chunk-Verarbeitung.
Schritt 9
Die Amazon-SQS-Warteschlange „Chunks Retrieval“ ruft die Lambda-Funktion „Chunk Retrieval“ auf, um jeden Chunk zu verarbeiten.
Schritt 10
Die Lambda-Funktion „Chunk Retrieval“ lädt den Chunk aus dem Amazon-S3-Glacier-Tresor herunter.
Schritt 11
Die Lambda-Funktion „Chunk Retrieval“ lädt einen mehrteiligen Upload auf Amazon Simple Storage Service (Amazon S3) hoch.
Schritt 12
Nachdem ein neuer Chunk heruntergeladen wurde, speichert die Lösung Chunk-Metadaten in Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Schritt 13
Die Lambda-Funktion „Chunk Retrieval“ überprüft, ob alle Chunks für dieses Archiv verarbeitet wurden. Falls ja, fügt sie ein Ereignis in die Amazon-SQS-Validierungswarteschlange ein, um die Lambda-Funktion „Validate“ aufzurufen.
Schritt 14
Die Lambda-Funktion „Validate“ führt eine Integritätsprüfung durch und schließt dann den mehrteiligen Amazon-S3-Upload.
Schritt 15
Ein DynamoDB-Stream ruft die Lambda-Funktion „Metrics Processor“ auf, um die Metriken des Übertragungsprozesses in DynamoDB zu aktualisieren.
Schritt 16
Bei dem Workflow von Step Functions Orchestrator beginnt eine asynchrone Wartezeit, die unterbrochen wird, bis der Workflow zum Abrufen von Archiven abgeschlossen ist, bevor der Step-Functions-Cleanup-Workflow initiiert wird.
Schritt 17
Der DynamoDB-Stream ruft die Lambda-Funktion „Async Facilitator“ auf, die asynchrone Wartezeiten in Step Functions freischaltet.
Schritt 18
Die Amazon-EventBridge-Regeln initiieren regelmäßig die Step-Functions-Workflows Extend Download Window und Update Amazon-CloudWatch-Dashboard.
Schritt 19
Überwachen Sie den Fortschritt der Übertragung mithilfe des CloudWatch-Dashboards.
Schritt 1
Rufen Sie einen Übertragungsworkflow mithilfe eines AWS Systems Manager-Dokuments (SSM-Dokument) auf.
Schritt 2
Das SSM-Dokument startet einen Workflow von AWS Step Functions Orchestrator.
Schritt 3
Der Workflow von Step Functions Orchestrator initiiert einen verschachtelten Step-Functions-Get-Inventory-Workflow zum Abrufen der Inventardatei.
Schritt 4
Nach Abschluss der Inventarabfrage ruft die Lösung den verschachtelten Step-Functions-Initiate-Retrieval-Workflow auf.
Schritt 5
Wenn ein Auftrag fertig ist, sendet Amazon S3 Glacier eine Benachrichtigung an ein Thema von Amazon Simple Notification Service (Amazon SNS), das auf den Abschluss des Auftrags hinweist.
Schritt 6
Die Lösung speichert alle Benachrichtigungen über den Abschluss von Aufträgen in der Benachrichtigungswarteschlange von Amazon Simple Queue Service (Amazon SQS).
Schritt 7
Wenn ein Archivierungsauftrag bereit ist, ruft die Benachrichtigungswarteschlange von Amazon SQS die AWS-Lambda-Funktion „Notifications Processor“ auf. Diese Lambda-Funktion bereitet die ersten Schritte für den Archivabruf vor.
Schritt 8
Die Lambda-Funktion „Notifications Processor“ platziert Nachrichten zum Abrufen von Blöcken in der Amazon-SQS-Warteschlange „Chunks Retrieval“ für die Chunk-Verarbeitung.
Schritt 9
Die Amazon-SQS-Warteschlange „Chunks Retrieval“ ruft die Lambda-Funktion „Chunk Retrieval“ auf, um jeden Chunk zu verarbeiten.
Schritt 10
Die Lambda-Funktion „Chunk Retrieval“ lädt den Chunk aus dem Amazon-S3-Glacier-Tresor herunter.
Schritt 11
Die Lambda-Funktion „Chunk Retrieval“ lädt einen mehrteiligen Upload auf Amazon Simple Storage Service (Amazon S3) hoch.
Schritt 12
Nachdem ein neuer Chunk heruntergeladen wurde, speichert die Lösung Chunk-Metadaten in Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Schritt 13
Die Lambda-Funktion „Chunk Retrieval“ überprüft, ob alle Chunks für dieses Archiv verarbeitet wurden. Falls ja, fügt sie ein Ereignis in die Amazon-SQS-Validierungswarteschlange ein, um die Lambda-Funktion „Validate“ aufzurufen.
Schritt 14
Die Lambda-Funktion „Validate“ führt eine Integritätsprüfung durch und schließt dann den mehrteiligen Amazon-S3-Upload.
Schritt 15
Ein DynamoDB-Stream ruft die Lambda-Funktion „Metrics Processor“ auf, um die Metriken des Übertragungsprozesses in DynamoDB zu aktualisieren.
Schritt 16
Bei dem Workflow von Step Functions Orchestrator beginnt eine asynchrone Wartezeit, die unterbrochen wird, bis der Workflow zum Abrufen von Archiven abgeschlossen ist, bevor der Step-Functions-Cleanup-Workflow initiiert wird.
Schritt 17
Der DynamoDB-Stream ruft die Lambda-Funktion „Async Facilitator“ auf, die asynchrone Wartezeiten in Step Functions freischaltet.
Schritt 18
Die Amazon-EventBridge-Regeln initiieren regelmäßig die Step-Functions-Workflows Extend Download Window und Update Amazon-CloudWatch-Dashboard.
Schritt 19
Überwachen Sie den Fortschritt der Übertragung mithilfe des CloudWatch-Dashboards.
Ähnliche Inhalte
S3 Glacier ist ein sicherer und dauerhafter Service für die kostengünstige Datenarchivierung und Langzeitsicherung mit Tresoren.
Dieser Workshop im Selbststudium bietet eine schrittweise Anleitung für die Einführung der AWS-Lösung „Datenübertragung von Amazon S3 Glacier Vaults zu Amazon S3“ in Ihrem AWS-Konto.
- Datum der Veröffentlichung