Amazon Managed Service for Apache Flink 기능

Amazon Managed Service for Apache Flink를 사용하면 Apache Flink를 통해 실시간 스트림 처리 애플리케이션을 손쉽게 구축하고 실행할 수 있습니다. Amazon Managed Service for Apache Flink는 Flink 클러스터를 프로비저닝 및 구성하고 Flink 작업 관리를 오케스트레이션합니다. 모니터링 및 경보를 설정하고 Auto Scaling을 제공하며, 고가용성(가용 영역 장애 조치 포함)을 보장하도록 설계되었습니다. 이 서비스는 Apache Flink의 표현형 API에 대한 액세스를 제공하며, Amazon Managed Service for Apache Flink Studio를 통해 몇 단계 만에 대화형 방식으로 데이터 스트림을 쿼리하거나 상태 유지 애플리케이션을 시작할 수 있습니다. 이 관리형 서비스를 사용하면 Apache Flink를 시작하고 데이터 스트림 처리 애플리케이션을 빠르게 배포 및 운영할 수 있습니다.

Amazon Managed Service for Apache Flink를 사용하면 지연 시간이 짧고 처리량이 높은 데이터 처리 기능, 정확한 1회 처리, 내구성이 뛰어난 애플리케이션 상태 등 업계 최고 수준을 자랑하는 Apache Flink의 모든 기능에 액세스할 수 있습니다. Amazon Managed Service for Apache Flink를 사용하면 안전하고 규정에 부합하며 가용성이 높은 애플리케이션을 배포할 수 있습니다. Amazon Managed Service for Apache Flink는 여러 가용 영역에서 데이터와 워크로드를 손쉽게 복제하여 중단 없는 성능과 안정성을 보장하며, 사용자는 추가 용량에 대한 비용을 지불하지 않아도 됩니다. 

Amazon Managed Service for Apache Flink는 Java, Scala, Python 및 SQL로 작성하는 Flink의 유연한 API를 지원하므로 애플리케이션 개발이 더 쉬워집니다. Amazon Managed Service for Apache Flink는 Amazon Managed Streaming for Apache Kafka(Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service(S3), Amazon DynamoDB, JDBC 커넥터, 맞춤형 커넥터 등, 수백 가지 데이터 소스 및 대상과 통합됩니다. 

Amazon Managed Service for Apache Flink에는 Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK 및 AWS 서비스 통합과 같은 오픈 소스 라이브러리가 포함되어 있습니다. Apache Flink는 가용성 및 정확성이 탁월한 스트리밍 애플리케이션을 구축할 수 있는 프레임워크 및 엔진입니다. Apache Beam은 여러 런타임 엔진에서 실행되는 스트리밍 및 배치 데이터 처리 애플리케이션을 정의하기 위해 통합된 모델입니다. AWS SDK는 원하는 언어의 API를 제공하여 복잡한 코드 작업 없이 다수의 AWS 서비스를 활용할 수 있도록 지원하며 AWS 라이브러리, 코드 샘플 및 설명서가 포함되어 있습니다. 

Amazon Managed Service for Apache Flink는 상태 유지 이벤트 처리, 스트리밍 추출, 전환, 적재(ETL) 및 실시간 분석을 비롯한 다양한 사용 사례에 특화된 유연한 API를 Java, Scala, Python, SQL 등의 언어로 지원됩니다. 사전 구축된 연산자 및 분석 기능을 통해 Apache Flink 스트리밍 애플리케이션을 몇 개월이 아닌 단 몇 시간 만에 구축할 수 있으며, 라이브러리를 확장할 수 있으므로 다양한 사용 사례에 대해 실시간 처리를 수행할 수 있습니다.

최소한의 코드로 데이터 소스 또는 대상을 설정하고 통합할 수 있습니다. Amazon Managed Service for Apache Flink 라이브러리를 사용하여 다음 AWS 서비스와 통합합니다.  

• Amazon S3
• Amazon MSK
• Amazon OpenSearch Service
• Amazon DynamoDB
• Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose
• Amazon CloudWatch
• AWS Glue 스키마 레지스트리

AWS 통합 외에도, Amazon Managed Service for Apache Flink 라이브러리에는 40개가 넘는 Apache Flink 커넥터가 포함되어 있으며 사용자 지정 통합을 구축할 수도 있습니다. 고급 기능을 사용하여 코드 몇 줄만 추가하면 각 통합의 작동 방식을 수정할 수 있습니다. 또한 파일, 디렉터리, 소켓 또는 인터넷을 통해 액세스 가능한 기타 소스를 읽고 쓸 수 있는 Apache Flink의 기본 형식 세트를 사용하여 사용자 지정 통합을 구축할 수도 있습니다.

Amazon Managed Service for Apache Flink를 사용하면 처리된 레코드가 정확히 한 번만 결과에 영향을 미치는 애플리케이션(Exactly Once Processing)을 구축할 수 있습니다. 내부 서비스 유지 관리 또는 사용자가 시작한 애플리케이션 업데이트로 인해 애플리케이션 중단이 발생하는 경우 이 서비스는 모든 데이터가 중복 데이터 없이 처리될 수 있습니다.

이 서비스는 이전 및 진행 중인 계산 또는 상태를 실행 중인 애플리케이션 스토리지에 저장합니다. 애플리케이션 중단 시 실시간 결과 및 이전 결과를 모든 기간에 걸쳐 비교하고 빠르게 복구할 수 있습니다. 상태는 항상 암호화되며 실행 중인 애플리케이션 스토리지에 증분 저장됩니다.

단순한 API를 직접 호출하여 내구성이 뛰어난 애플리케이션 백업을 생성하고 삭제할 수 있습니다. 중단 후 최신 백업에서 즉시 애플리케이션을 복원하거나 애플리케이션을 이전 버전으로 복원할 수 있습니다. 

Amazon Managed Service for Apache Flink는 기계 학습(ML) 알고리즘을 지원합니다. 분류, 클러스터링, 평가, 특성 추출 추천, 회귀 및 통계를 위한 실시간 애플리케이션을 만들 수 있습니다. 

Amazon Managed Service for Apache Flink는 AWS Glue 스키마 레지스트리와 호환됩니다. 스키마 레지스트리는 Apache Kafka, Amazon MSK 또는 Amazon Kinesis Data Streams에 소스 또는 싱크 커넥터로 연결하는 Amazon Managed Service for Apache Flink 워크로드의 스키마에 대한 스키마 변화를 관리하는 호환성 검사를 통해 예기치 않은 변경 사항으로부터 데이터 품질을 개선하고 보호하는 데 도움이 됩니다.