AWS Glue의 이점
작동 방식
AWS Glue는 분석, 기계 학습(ML) 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다.
-
데이터 통합 엔진 옵션
-
이벤트 기반 ETL
-
AWS Glue 데이터 카탈로그
-
노 코드 ETL 작업
-
데이터 품질 관리 및 모니터링
-
데이터 준비
-
데이터 통합 엔진 옵션
-
AWS Glue에서 사용자 및 워크로드를 지원하기에 적합한 데이터 통합 엔진을 선택하세요.
확대하려면 클릭
이 다이어그램은 AWS Glue 사용자가 인터페이스 옵션에서 여러 데이터 통합 엔진을 선택하여 작업 워크로드를 생성하는 방법을 보여줍니다. 왼쪽에 1개, 가운데에 2개, 오른쪽에 1개의 4개 섹션이 표시되어 있습니다.
왼쪽의 첫 번째 섹션은 ‘데이터 소스’입니다. ‘Amazon S3’, ‘Amazon DynamoDB’, ‘Amazon EC2에서 실행되는 데이터베이스’, ‘Databases’ 및 ‘SaaS’라는 데이터 소스가 포함되어 있습니다.
첫 번째 섹션에는 가운데 섹션의 ‘인터페이스 선택’ 다이어그램 위를 가리키는 화살표가 있습니다. 이 두 번째 섹션에는 ‘AWS Glue Studio’, ‘Amazon SageMaker 노트북’, ‘노트북 및 IDE’라는 3개의 항목이 있습니다.
이 두 번째 섹션 아래에는 ‘개방형 인터페이스는 대화형 워크로드 및 작업 워크로드를 지원합니다’라는 텍스트가 있습니다. 이 텍스트에는 이전에 설명된 위의 두 번째 섹션을 가리키는 화살표와 아래의 세 번째 섹션을 가리키는 화살표가 있습니다.
이 세 번째 섹션은 ‘데이터 통합 엔진’입니다. ‘자동 크기 조정 및 사용량에 따른 요금을 제공하는 서버리스 방식의 확장 가능한 데이터 처리 엔진을 선택합니다’라는 텍스트가 있습니다. 이 섹션에는 ‘AWS Glue for Ray’, ‘AWS Glue for Python Shell’ 및 ‘AWS Glue for Apache Spark’라는 3가지 엔진 이름이 포함되어 있습니다.
네 번째 섹션은 두 번째 섹션의 오른쪽에 두 번째 섹션에서 네 번째 섹션을 가리키는 화살표와 함께 나타납니다. 네 번째 섹션에는 ‘데이터 레이크 및 데이터 웨어하우스로 데이터를 생성하고 로드합니다’라는 텍스트가 있습니다. 이 섹션에는 ‘Amazon Redshift’, ‘데이터 레이크’ 및 ‘데이터 웨어하우스’라는 3개의 항목도 있습니다.
-
이벤트 기반 ETL
-
AWS Glue를 사용하면 새 데이터가 도착하는 대로 추출, 전환, 적재(ETL) 작업을 실행할 수 있습니다. 예를 들어 Amazon Simple Storage Service(S3)에서 새 데이터를 사용할 수 있게 되는 즉시 실행할 ETL 작업을 시작하도록 AWS Glue를 구성할 수 있습니다.
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
AWS Glue 데이터 카탈로그
-
데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 일단 데이터가 카탈로그에 저장되면 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum에서 즉시 검색 및 쿼리에 데이터를 사용할 수 있습니다.
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
노 코드 ETL 작업
-
AWS Glue Studio를 사용하면 AWS Glue ETL 작업을 시각적으로 간편하게 생성, 실행 및 모니터링할 수 있습니다. 드래그 앤 드롭 방식의 편집기를 사용하여 데이터를 이동 및 변환하는 ETL 작업을 구축할 수 있으며 AWS Glue가 자동으로 코드를 생성합니다.
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
데이터 품질 관리 및 모니터링
-
AWS Glue Data Quality는 데이터 품질 규칙 생성, 관리 및 모니터링을 자동화하여 데이터 레이크 및 파이프라인 전체의 데이터 품질을 높게 유지할 수 있도록 합니다.
확대하려면 클릭
이 다이어그램은 AWS Glue Data Quality를 사용하여 규칙 권장 사항을 생성하고, 데이터 품질을 모니터링하며, 데이터 품질 저하 시 알림을 전송하는 방법을 보여줍니다. 왼쪽에서 오른쪽으로 3개의 섹션이 표시됩니다.
첫 번째 섹션에는 AWS Glue 데이터 카탈로그와 AWS Glue ETL에 대한 그림이 있습니다. AWS Glue 데이터 카탈로그 아래에는 ‘데이터 레이크의 모든 데이터 세트를 카탈로그로 작성합니다’라는 설명이 있습니다. AWS Glue ETL 아래에는 ‘개별 데이터 소스의 데이터를 통합하고 변환합니다’라는 설명이 있습니다.
두 번째 섹션의 제목은 ‘AWS Glue Data Quality’입니다. 이 섹션에는 3개의 아이콘이 있습니다. 첫 번째는 체크리스트입니다. 그 아래에는 ‘데이터 품질 규칙 권장 사항. 자동 데이터 품질 규칙 권장 사항으로 빠르게 시작합니다’라고 쓰여 있습니다. 두 번째 아이콘은 연필입니다. 그 아래에는 ‘미리 구성된 데이터 품질 규칙. 미리 구성된 데이터 품질 규칙으로 권장 사항을 편집하거나 보완합니다’라고 쓰여 있습니다. 세 번째 아이콘은 종입니다. 그 아래에는 ‘알림 및 조치. 데이터 품질 저하 시 수행할 조치와 알림을 추가합니다’라고 쓰여 있습니다.
세 번째 섹션에는 2개의 아이콘이 겹쳐져 있습니다. 첫 번째 아이콘은 막대 차트입니다. 그 아래에는 ‘지표. 데이터 품질 지표를 사용하여 확실한 비즈니스 의사 결정을 내립니다’라고 쓰여 있습니다. 두 번째 아이콘은 경고 기호입니다. 그 아래에는 ‘알림. 알림을 사용하여 품질 저하 시 알림을 받고 조치를 취해 데이터를 수정합니다’라고 쓰여 있습니다.
-
데이터 준비
-
AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon Relational Database Service(RDS)를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색하고 데이터로 실험할 수 있습니다. DataBrew의 사전 구축된 250여 개의 변환 중에서 선택하여 이상 항목 필터링, 형식 표준화, 잘못된 값 수정 등의 데이터 준비 작업을 자동화할 수 있습니다.
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)