AWS Glue
Découvrez, préparez et intégrez toutes vos données à n'importe quelle échelleLes avantages d'AWS Glue
Fonctionnement
AWS Glue est un service d'intégration des données sans serveur qui facilite la découverte, la préparation, le déplacement et l'intégration des données depuis des sources multiples pour l'analytique, le machine learning (ML) et le développement des applications.
-
Options des moteurs d'intégration des données
-
ETL basé sur les événements
-
Catalogue de données AWS Glue
-
Tâches ETL sans code
-
Gérer et contrôler la qualité des données
-
Préparation des données
-
Options des moteurs d'intégration des données
-
Sélectionnez votre moteur d'intégration des données favori dans AWS Glue pour prendre en charge vos utilisateurs et vos charges de travail.
Cliquez pour agrandir
Le diagramme présente la manière dont les utilisateurs d'AWS Glue peuvent choisir parmi les options d'interface pour créer des charges de travail utilisant plusieurs moteurs d'intégration des données. Quatre sections s'affichent : une à gauche, deux au milieu et une à droite.
La première section sur la gauche est appelée « Source de données ». Elle comprend les sources de données suivantes : « Amazon S3 », « Amazon DynamoDB », « Bases de données s'exécutant sur Amazon EC2 », « Bases de données » et « SaaS ».
Depuis la première section, il existe une flèche pointant vers la section du milieu au-dessus du diagramme, appelée « Choix des interfaces ». Trois éléments sont compris dans cette deuxième section : « AWS Glue Studio », « Bloc-notes Amazon SageMaker » et « Bloc-notes et IDE ».
Au-dessous de cette deuxième section, un texte indique « Les interfaces ouvertes prennent en charge les charges de travail interactives. » Ce texte comprend une flèche pointant vers la deuxième section précédemment décrite, située au-dessus, et une flèche pointant vers la troisième section, située au-dessous.
Cette troisième section est appelée « Moteurs d'intégration de données ». Le texte précise : « Choisissez un moteur de traitement de données évolutif sans serveur privilégié, avec une mise à l'échelle automatique et une tarification à l'usage ». Cette section comprend trois noms de moteur : « AWS Glue pour Ray », « AWS Glue pour Python Shell » et « AWS Glue pour Apache Spark ».
La quatrième section apparaît sur la droite de la deuxième section, avec une flèche pointant de la deuxième section vers la quatrième. La quatrième section indique : « Créez et chargez des données dans des lacs de données et des entrepôts de données ». Cette section comprend également trois éléments : « Amazon Redshift », « Lacs de données » et « Entrepôts de données ».
-
ETL basé sur les événements
-
AWS Glue peut exécuter vos tâches d'extraction, de transformation et de chargement (ETL) à mesure que les nouvelles données arrivent. Par exemple, vous pouvez configurer AWS Glue pour que vos tâches ETL s'exécutent dès que de nouvelles données sont disponibles dans Amazon Simple Storage Service (S3).
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
Catalogue de données AWS Glue
-
Vous pouvez utiliser le catalogue de données pour la découverte et la recherche rapides sur plusieurs jeux de données AWS sans devoir déplacer les données. Une fois que les données sont cataloguées, elles sont immédiatement disponibles pour la recherche et l'interrogation avec Amazon Athena, Amazon EMR et Amazon Redshift Spectrum.
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
Tâches ETL sans code
-
AWS Glue Studio facilite la création, l'exécution et la surveillance visuelles des tâches ETL dans AWS Glue. Vous pouvez créer des tâches ETL qui déplacent et transforment les données à l'aide d'un éditeur glisser-déposer. AWS Glue génère automatiquement le code.
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
Gérer et contrôler la qualité des données
-
AWS Glue Data Quality automatise la création, la gestion et la surveillance des règles de qualité des données afin de garantir des données de haute qualité dans vos lacs et pipelines de données.
Cliquez pour agrandir
Le diagramme montre comment AWS Glue Data Quality peut être utilisé pour créer des recommandations de règles, surveiller la qualité des données et envoyer des alertes lorsque la qualité des données se détériore. Trois sections s'affichent de gauche à droite.
La première section présente une illustration du Catalogue de données AWS Glue et de l'ETL AWS Glue. Sous le Catalogue de données AWS Glue, il est indiqué : « Cataloguez tous les jeux de données dans vos lacs de données ». Sous l'ETL AWS Glue, il est indiqué : « Intégrez et transformez les données provenant de sources de données disparates ».
La deuxième section est intitulée : « AWS Glue Data Quality ». Cette section comporte trois icônes. La première est une liste de contrôle. En dessous, il est écrit : « Recommandations de règles de qualité des données. Démarrez rapidement avec les recommandations automatiques de règles de qualité des données ». La deuxième icône est un crayon. En dessous, il est écrit : « Règles de qualité des données préconfigurées. Modifiez ou augmentez les recommandations avec des règles de qualité des données préconfigurées ». La troisième icône est une cloche. En dessous, il est écrit : « Alertes et actions. Ajoutez des alertes et des actions à effectuer lorsque la qualité des données se détériore ».
La troisième icône comprend deux icônes empilées. La première icône est un diagramme en barres. En dessous, il est écrit : « Mesures. Utilisez les mesures de qualité des données pour prendre des décisions commerciales en toute confiance ». La deuxième icône est un signe d'avertissement. En dessous, il est écrit : « Alertes. Utilisez des alertes pour être prévenu lorsque la qualité se détériore et prenez des mesures pour corriger les données ».
-
Préparation des données
-
AWS Glue DataBrew vous permet d'explorer et d'expérimenter avec des données provenant directement de votre lac de données, de vos entrepôts de données et de vos bases de données, y compris Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora et Amazon Relational Database Service (RDS). Vous pouvez choisir parmi plus de 250 transformations pré-intégrées dans DataBrew pour automatiser les tâches de préparation des données, telles que le filtrage des anomalies, la normalisation des formats et la correction des valeurs non valides.
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)
Cas d'utilisation
Identifier efficacement les données
Prendre en charge divers cadres de traitement et charges de travail
Explorer, expérimenter et traiter les données de manière interactive
Simplifier le développement de pipeline ETL
Nouveautés
- Date (de la plus récente à la plus ancienne)