Amazon Managed Service for Apache Flink 요금

Amazon Managed Service for Apache Flink를 사용하면 데이터 스트림 처리를 위한 오픈 소스 프레임워크 및 엔진인 Apache Flink를 통해 스트리밍 데이터를 실시간으로 변환하고 분석할 수 있습니다. Amazon Managed Service for Apache Flink는 Apache Flink 워크로드의 구축 및 관리를 간소화하며 애플리케이션을 다른 AWS 서비스와 손쉽게 통합하는 데 도움이 됩니다.

Amazon Managed Service for Apache Flink에서는 사용한 만큼만 요금을 지불합니다. 프로비저닝할 리소스가 없고 선결제 비용도 없습니다. 애플리케이션 실행에 사용하는 Kinesis 처리 단위(KPU)의 개수에 따라 시간당 요금이 청구됩니다. 단일 KPU는 vCPU 컴퓨팅 1개와 메모리 4GB로 구성됩니다.

Apache Flink 애플리케이션의 경우 오케스트레이션에 사용되는 애플리케이션별로 단일 추가 KPU 요금이 청구됩니다. 스토리지 및 내구성 있는 백업 실행에 대한 비용도 애플리케이션에 부과됩니다. 실행 중인 애플리케이션 스토리지는 Amazon Managed Service for Apache Flink의 상태 유지 처리 기능에 사용되며 GB/월 단위로 청구됩니다. 내구성 있는 백업은 선택 사항이며 애플리케이션에 대한 특정 시점 복구를 제공하며 GB/월 단위로 청구됩니다.

스트리밍 모드에서 Amazon Managed Service for Apache Flink는 메모리 및 컴퓨팅 요구 사항이 변함에 따라 스트림 처리 애플리케이션에 필요한 KPU 수를 자동으로 조정합니다. 필요한 KPU 수로 애플리케이션을 프로비저닝하도록 선택할 수 있습니다.

대화형 모드에서는 Studio 애플리케이션당 2개의 추가 KPU 요금이 부과됩니다. KPU 1개는 Apache Flink 애플리케이션 오케스트레이션에 사용되고 다른 1개는 서버리스 대화형 개발 환경에 사용됩니다. 상태 저장 처리 기능에 사용되는 애플리케이션 스토리지 실행 요금도 부과됩니다. 애플리케이션 스토리지 실행 요금은 GB/월 단위로 부과됩니다.

Studio 노트북에서 개발하는 경우 내구성 있는 애플리케이션 백업을 생성하는 옵션을 사용할 수 없습니다. 그러나 대화형 모드에서 스트리밍 모드로 Studio 노트북에 애플리케이션을 배포하면 내구성 있는 애플리케이션 백업을 생성할 수 있습니다.

애플리케이션에 필요한 KPU 수를 정확하게 추정하려면 프로덕션 로드로 애플리케이션을 테스트하는 것이 좋습니다. KPU 사용량은 데이터 볼륨 및 속도, 코드 복잡성, 통합 등에 따라 상당히 달라질 수 있습니다. Amazon Managed Service for Apache Flink에서 Apache Flink 런타임을 사용하는 경우에는 특히 그렇습니다. 예를 들어 내부 테스트 결과, 상태가 없는 단순한 애플리케이션의 경우에는 KPU별로 초당 수백 MB의 처리량이 관찰되었으며, 기계 학습(ML) 알고리즘을 많이 사용하는 복잡한 애플리케이션의 경우에는 KPU별로 초당 1MB 미만의 처리량이 관찰되었습니다. 이러한 사항을 감안하여 애플리케이션 테스트 전에 제공하는 일반 지침은 KPU별로 초당 1MB입니다.

사용자가 Amazon Managed Service for Apache Flink Studio를 사용하여 Amazon Kinesis Data Streams에서 캡처한 스트리밍 데이터를 지속적으로 필터링하고 원하는 레코드만 유지합니다. 레코드를 실시간으로 보고 시각화하는 기능과 SQL 및 Python으로 쿼리 및 프로그램을 손쉽게 작성할 수 있는 기능을 원합니다. 내구성 있는 상태 백업은 원하지 않습니다. 입력 스트림의 처리량에 따라 Studio 노트북에 사용할 KPU 4개를 프로비저닝합니다. Amazon Managed Service for Apache Flink의 월별 요금은 다음과 같이 계산됩니다.

월별 요금

미국에서의 가격 동부(버지니아 북부) 리전은 스트림 처리 애플리케이션에 사용된 KPU/시간당 0.11 USD입니다. 이 간단한 애플리케이션은 수신 데이터 스트림 처리에 4개의 KPU를 사용합니다. 각 Studio 노트북 애플리케이션(예: 대화형 모드)에는 애플리케이션당 추가 2개의 KPU 요금이 부과됩니다. 월별 KPU 요금 = 30일 * 24시간 * ([KPU 4개 + 추가 KPU 2개] * 0.11 USD/시간) = 475.20 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.10 USD의 요금이 부과됩니다.

월별 실행 중인 애플리케이션 스토리지 요금 = 30일 * 24시간 * KPU 4개 * (50GB * 월별 GB당 0.10 USD) = 20.00 USD 

요금 합계 = 475.20 USD + 20.00 USD = 495.20 USD

 

Amazon Managed Service for Apache Flink Studio를 사용하여 Amazon Managed Streaming for Apache Kafka(Amazon MSK) 클러스터의 주제에서 캡처한 스트리밍 데이터에 대한 슬라이딩 창을 구축합니다. 4개의 KPU가 포함된 Studio 노트북을 이틀에 걸쳐 8시간 동안 사용하여 쿼리를 개발하고 테스트합니다. 개발 후 12개의 KPU가 있는 스트리밍 애플리케이션으로 애플리케이션을 배포합니다. 스트리밍 애플리케이션이 배포된 후 Studio 노트북을 중지합니다. 스트리밍 애플리케이션은 지속 가능한 애플리케이션 상태를 사용할 수 있으며 매일 지속 가능한 상태 백업을 생성합니다.

미국에서의 가격 동부(버지니아 북부) 리전은 스트림 처리 애플리케이션에 사용된 KPU/시간당 0.11 USD입니다.

월별 요금

Amazon Managed Service for Apache Flink Studio에서 쿼리 개발 및 테스트:
KPU 요금 = 2일 * 8시간 * (KPU 4개 + Studio 노트북용 추가 KPU 2개) * 0.11 USD/시간) = 10.56 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.10 USD의 요금이 부과됩니다.

실행 중인 애플리케이션 스토리지 요금 = 2일 * 8시간 * KPU 4개 * (50GB * 월별 GB당 0.10 USD) = 0.44 USD

지속적으로 실행하고 애플리케이션 백업을 수행하기 위해 스트리밍 애플리케이션으로 배포:

KPU 요금 = 28일 * 24시간 * (KPU 2개 + 스트리밍 애플리케이션용 추가 KPU 1개) * 0.11 USD/시간) = 221.76 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.121 USD의 요금이 부과됩니다.

실행 중인 애플리케이션 스토리지 요금 = 28일 * 24시간 * KPU 2개 * (50GB * 월별 GB당 0.10 USD) = 9.33 USD

내구성 있는 애플리케이션 스토리지 요금 = 28 * (1MB/백업 * 1GB/1,000MB) * 월별 GB당 0.023 USD = 0.01 USD(근사한 센트 단위로 반올림)

요금 합계 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD

Amazon Managed Service for Apache Flink에서 Apache Flink 애플리케이션을 사용하여 Kinesis Data Streams에서 캡처한 로그 데이터를 Amazon Simple Storage Service(S3)로 지속적으로 변환하고 전달합니다. 로그 데이터는 다른 로그 이벤트에 대한 스키마 적용, 이벤트 유형별 데이터 파티셔닝, 타임스탬프별 데이터 정렬 및 전송 1시간 전 데이터 버퍼링을 포함한 여러 연산자를 사용하여 변환됩니다. 애플리케이션에는 여러 변환 단계가 있지만 컴퓨팅 집약적인 단계는 없습니다. 이 스트림은 하루 12시간 동안 초당 2,000개의 레코드에 있는 데이터를 수집하고, 이를 하루 12시간 동안 초당 8,000개의 레코드로 늘립니다. 내구성 있는 애플리케이션 백업은 생성하지 않습니다. Amazon Managed Service for Apache Flink의 월별 요금은 다음과 같이 계산됩니다.

월별 요금

미국에서의 가격 동부(버지니아 북부) 리전은 KPU-시간당 0.11 USD입니다. Amazon Managed Service for Apache Flink는 KPU당 50GB의 실행 애플리케이션 스토리지를 할당하고 GB당 월 0.10 USD의 요금을 부과합니다.

과중한 워크로드: 12시간의 과중한 워크로드 기간에 Amazon Managed Service for Apache Flink 애플리케이션은 초당 8,000개의 레코드를 처리하고 자동으로 8개의 KPU까지 스케일 업됩니다. 워크로드가 많은 기간 이후 Amazon Managed Service for Apache Flink 애플리케이션은 처리량이 6시간 동안 낮아진 이후 애플리케이션을 스케일 다운합니다. 애플리케이션은 하루 총 18시간 동안 8개의 KPU로 스케일 업됩니다.

30일/월 * 18시간/일 = 540시간/월

월별 KPU 요금 = 540시간/월 * KPU 8개 * 0.11 USD/시간 = 475.20 USD

월별 실행 중인 애플리케이션 스토리지 요금 = 540시간/월 * KPU 8개 * 50GB/KPU * 월별 GB당 0.10 USD = 30.00 USD

월별 KPU 및 스토리지 요금 = 475.20 USD + 30.00 USD = 505.20 USD

가벼운 워크로드: 남은 6시간의 가벼운 워크로드 기간에 Amazon Managed Service for Apache Flink 애플리케이션은 초당 2,000개의 레코드를 처리하고 자동으로 KPU 2개까지 스케일 다운됩니다.

30일/월 * 6시간/일 = 180시간/월

월별 KPU 요금 = 180시간/월 * KPU 2개 * 0.11 USD/시간 = 39.60 USD

월별 실행 중인 애플리케이션 스토리지 요금 = 180시간/월 * KPU 2개 * 50GB * 월별 GB당 0.10 USD = 2.50 USD

월별 KPU 및 스토리지 요금 = 39.60 USD + 2.50 USD = 42.10 USD

각 Apache Flink 애플리케이션은 애플리케이션당 추가 KPU에 대한 요금이 부과됩니다.

월별 요금 = 30 * 24 * 1 KPU * 0.11 USD/시간 = 79.20 USD

요금 합계 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD