AWS Outposts 기반 Amazon EMR

EMR on Outposts를 선택해야 하는 이유

AWS Outposts는 AWS 서비스, 인프라 및 운영 모델을 사실상 모든 데이터 센터, 코로케이션 공간 또는 온프레미스 시설로 옮길 수 있습니다. Amazon EMR은 AWS Outposts에서 사용할 수 있으며, 이를 통해 클라우드에서와 같이 온프레미스 환경에서도 Apache 하둡, Apache Hive, Apache Spark 및 Presto 클러스터를 설정, 배포, 관리 및 확장할 수 있습니다. Amazon EMR을 사용하면 Outposts에서 비용 효율적인 용량을 제공하는 동시에, 인프라 프로비저닝, 클러스터 설정, 구성 또는 튜닝을 포함하여 많은 시간이 소요되는 관리 작업을 자동화하여 애플리케이션에 집중할 수 있습니다.

동일한 AWS Management Console, API 및 EMR용 CLI를 사용하여 온프레미스에서 관리형 EMR 클러스터를 쉽고 빠르게 생성할 수 있습니다. Outpost에서 시작된 EMR 클러스터는 다른 클러스터와 마찬가지로 AWS 콘솔에 표시되지만, Outpost에서 실행됩니다.

이점

Outpost를 설정한 후에는 온프레미스에서 새 EMR 클러스터를 시작하고 몇 분 안에 기존 HDFS 스토리지에 연결할 수 있습니다. 이를 통해 온프레미스 시스템에 추가 처리 용량이 필요할 때 빠르게 대응할 수 있습니다. 온프레미스 하둡 및 Spark 클러스터에 용량을 추가하면 일정 기간 사용률이 높은 워크로드 수요를 충족하고 SLA를 유지 관리할 수 있습니다.
Apache 하둡, Apache Hive, Apache Spark 및 Presto는 일반적으로 더 큰 데이터 아키텍처의 일부인 데이터를 처리, 변환 및 분석하는 데 사용됩니다. 거버넌스, 규정 준수 또는 기타 이유로 온프레미스에 보관해야 하는 데이터의 경우 EMR을 사용하여 데이터에 가까운 온프레미스에서 Apache 하둡 및 Apache Spark와 같은 애플리케이션을 배포 및 실행할 수 있습니다. 그러면 많은 양의 온프레미스 데이터를 클라우드로 이전할 필요성이 줄어들기 때문에 해당 데이터를 처리하는 데 필요한 전반적인 시간도 줄어듭니다.
데이터 및 Apache 하둡 워크로드를 클라우드로 마이그레이션하는 프로세스를 진행하고 있으며, 마이그레이션을 완료하기 전에 EMR 사용을 시작하려면 AWS Outposts를 사용하여 기존 HDFS 스토리지에 연결된 EMR 클러스터를 온프레미스에서 시작할 수 있습니다. 그러면 클라우드 아키텍처로 진화하는 과정에서 Amazon S3로 데이터를 점진적으로 마이그레이션할 수 있습니다.