AWS Step Functions 사용 사례

이 간단한 은행 시스템의 예에서는 고객의 이름과 주소를 확인한 후 신규 은행 계좌를 생성합니다. 워크플로는 두 개의 CheckName과 CheckAddress라는 Lambda 함수를 태스크 상태로서 병렬로 실행하는 것으로 시작합니다. 이 두 함수가 모두 완료되면 워크플로에서 ApproveApplication Lambda 함수가 실행됩니다. 태스크 상태의 오류를 처리할 retry 및 catch 절을 정의할 수 있습니다. 워크플로에서 미리 정의된 시스템 오류를 사용하거나 이들 Lambda 함수에 의해 발생하는 사용자 지정 오류를 처리할 수 있습니다. 오류 처리는 워크플로 코드가 수행하므로 Lambda 함수에서는 비즈니스 로직에 초점을 맞추어 코드를 줄일 수 있습니다. Lambda 함수는 외부 종속성 없이 총 5분 미만의 태스크를 수행하므로 Express 워크플로가 이 예에 더 적합합니다. 

비즈니스 프로세스의 단계를 검토하여 워크플로가 다음 단계를 계속 진행하도록 승인하거나 거부할 사람이 필요할 수 있습니다. 워크플로에서 사람의 승인을 기다려야 하거나 외부 시스템이 응답하는 데 5분 이상 걸릴 수 있는 프로세스를 기다려야 할 경우 Standard 워크플로를 사용하는 것이 좋습니다. 이 경우 다른 단계들 사이에 알림 승인자 단계를 두어 새 계정 개설 프로세스를 확장합니다. 워크플로는 CheckName 및 CheckAddress 태스크 상태를 병렬로 실행하는 것으로 시작합니다. 다음으로 ReviewRequired 상태는 두 가지 가능한 경로가 있는 선택 상태입니다. 즉, NotifyApprover 태스크의 승인자에게 SNS 알림 이메일을 보내거나 ApproveApplication 상태로 진행합니다. NotifyApprover 태스크 상태는 승인자에게 이메일을 보내고 응답을 기다린 후 다음 선택 상태인 ‘Approved’로 진행합니다. 승인자의 결정에 따라, Lambda 함수를 통해 계정 신청이 Approved 또는 Rejected 상태가 됩니다.

이 예에서는 사용자 지정 EventBridge 버스의 이벤트가 규칙을 충족하고 Step Functions 워크플로를 대상으로 호출합니다. 고객 서비스 애플리케이션에서 만료된 고객 구독을 처리해야 한다고 가정해보겠습니다. EventBridge 규칙이 구독 만료 이벤트를 수신하고, 그 응답으로 대상 워크플로를 호출합니다. 구독 만료 워크플로는 만료된 구독이 소유한 모든 리소스를 삭제하지 않고 비활성화하며, 고객에게 만료된 구독에 대해 알리는 이메일을 보냅니다. 이 두 가지 작업은 Lambda 함수를 사용하여 병렬로 수행할 수 있습니다. 워크플로가 완료되면 구독 만료가 처리되었음을 나타내는 새 이벤트가 Lambda 함수를 통해 이벤트 버스로 전송됩니다. 이 예에서는 Express 워크플로를 사용하는 것이 좋습니다. 비즈니스가 성장하고 이벤트 버스에 더 많은 이벤트를 추가하기 시작하면, Express 워크플로를 사용하여 초당 10만 개의 워크플로 실행을 호출할 수 있는 용량이 진가를 발휘합니다. 이 Github 리포지토리에서 작동 방식의 예를 참조하세요.

AWS Step Functions를 사용하여 수동 승인 단계가 포함된 자동 보안 인시던트 대응 워크플로를 생성할 수 있습니다. 이 예에서는 IAM 정책이 생성될 때 Step Functions 워크플로가 트리거됩니다. 이 워크플로는 정책 작업을 사용자 지정 가능한 제한된 작업 목록과 비교합니다. 워크플로는 정책을 일시적으로 롤백한 다음 관리자에게 알리고 관리자가 승인 또는 거부할 때까지 기다립니다. 대체 작업을 적용하거나 특정 ARN으로 작업 대상 범위를 제한하는 등, 자동으로 문제를 해결하도록 이 워크플로를 확장할 수 있습니다. 이 예가 어떻게 작동하는지 여기에서 확인할 수 있습니다.

AWS 리소스의 운영 이벤트에 대한 응답을 자동화하면 AWS 클라우드 인프라를 유지 관리하는 데 따른 운영 오버헤드를 줄일 수 있습니다. Amazon EventBridge는 AWS 리소스에 대한 대부분의 변경 사항 및 알림을 설명하는, 거의 실시간에 가까운 시스템 이벤트 스트림입니다. 이 스트림에서 특정 이벤트를 AWS Step Functions, AWS Lambda 및 기타 AWS 서비스로 라우팅하여 추가 처리 및 자동화된 작업을 수행하는 규칙을 생성할 수 있습니다. 이 예에서는 AWS Health에서 가져온 이벤트를 기반으로 AWS Step Functions 워크플로가 트리거됩니다. AWS는 널리 사용되는 코드 리포지토리 사이트에서 공개적으로 노출된 IAM 액세스 키를 선제적으로 모니터링합니다. IAM 액세스 키가 GitHub에서 노출되어 있다고 가정해보겠습니다. AWS Health는 이 노출된 키와 관련한 AWS 계정에 AWS_RISK_CREDENTIALS_EXPOSED 이벤트를 생성합니다. 구성된 Amazon EventBridge 규칙이 이 이벤트를 감지하고 Step Functions 워크플로를 호출합니다. 그러면 해당 워크플로가 AWS Lambda 함수를 사용하여 노출된 IAM 액세스 키를 삭제하고 노출된 키에 대한 최근 API 활동을 요약한 다음 요약 메시지를 Amazon SNS 주제로 전송하여 구독자에게 알리는 작업이 순서대로 실행됩니다. 이 예가 어떻게 작동하는지 여기에서 확인할 수 있습니다.

Amazon S3를 사용하여 정적 웹 사이트를 호스팅하고 Amazon CloudFront를 사용하여 콘텐츠를 전 세계에 배포할 수 있습니다. 웹 사이트 소유자로서 웹 사이트 콘텐츠를 업로드하려면 준비 및 테스트용과 프로덕션용으로 각각 하나씩, 두 개의 S3 버킷이 필요할 수 있습니다. 웹 사이트를 업데이트할 때마다 새 버킷을 새로 생성하는 번거로움 없이, 스테이징 버킷의 모든 변경 사항으로 프로덕션 버킷을 업데이트하면 됩니다. 이 예에서 Step Functions 워크플로는 두 개의 루프(병렬 루프와 독립 루프)로 작업을 수행합니다. 이들 루프 중 하나는 대상 버킷에 이미 있는 객체를 제외하고 소스 버킷의 모든 객체를 대상 버킷에 복사합니다. 두 번째 루프는 소스 버킷에서 찾을 수 없는 객체를 대상 버킷에서 삭제합니다. 일련의 AWS Lambda 함수가 입력을 검증하고, 소스 및 대상 버킷 모두에서 객체 목록 가져오고, 객체를 일괄적으로 복사 또는 삭제하는 등의 개별 단계를 수행합니다. 여기에서 이 예와 해당 코드를 자세히 살펴볼 수 있습니다. 상태 시스템에서 병렬 실행 분기를 생성하는 방법은 여기에서 자세히 알아볼 수 있습니다.

이 예에서 Freebird는 여러 소스의 웹 후크 데이터를 실시간으로 처리하고 데이터를 수정하는 Lambda 함수를 실행하는 데이터 처리 파이프라인을 구축했습니다. 이 사용 사례에서는 여러 서드 파티 애플리케이션의 웹 후크 데이터가 Amazon API Gateway를 통해 Amazon Kinesis 데이터 스트림으로 전송됩니다. AWS Lambda 함수가 이 Kinesis 스트림에서 데이터를 가져오고 Express 워크플로를 트리거합니다. 이 워크플로는 이 데이터를 검증하고 처리하고 정규화하는 일련의 단계를 거칩니다. 마지막으로, Lambda 함수가 SNS 주제를 업데이트하면, 다음 단계를 위해 SQS 대기열을 통해 다운스트림 Lambda 함수로 전송되는 메시지가 트리거됩니다. 데이터 처리 파이프라인을 확장하기 위해 이 워크플로를 초당 최대 10만 회까지 호출할 수 있습니다.

Step Functions를 사용하여 ETL 프로세스의 모든 단계를 서로 다른 데이터 소스 및 대상으로 오케스트레이션할 수 있습니다. 

이 예에서는 소스 S3 버킷에 사용 가능한 새 데이터가 추가될 때마다 Step Functions ETL 워크플로가 Amazon Redshift를 새로 고칩니다. Step Functions 상태 시스템이 AWS Batch 작업을 시작하고, 작업 상태를 모니터링하여 완료 상태 또는 오류 상태를 확인합니다. AWS Batch 작업은 PL/SQL 컨테이너를 통해 소스(Amazon S3)에서 ETL 워크플로 .sql 스크립트를 가져오고 대상(Amazon Redshift)을 새로 고칩니다. .sql 파일에는 데이터 변환의 각 단계에 대한 SQL 코드가 들어 있습니다. EventBridge 이벤트로 ETL 워크플로를 트리거하거나, AWS CLI를 통해 또는 AWS SDK나 사용자 지정 자동화 스크립트를 사용하여 수동으로 트리거할 수 있습니다. 워크플로의 모든 단계에서 또는 워크플로 실행이 끝나면 오류에 대한 이메일을 트리거하는 SNS를 통해 관리자에게 알릴 수 있습니다. 이 ETL 워크플로는 Standard 워크플로의 사용 예입니다. 이 예는 여기에서 자세히 살펴볼 수 있습니다. 여기에서 샘플 프로젝트를 통해 AWS Batch 작업을 제출하는 방법을 자세히 알아볼 수 있습니다.

추출, 전환, 적재(ETL) 작업은 원시 데이터를 사용 가능한 데이터 세트로 변환하여 데이터를 유용한 인사이트로 바꿉니다. 

소스 데이터 세트마다 사용 가능한 시간이 서로 다른 경우 Step Functions를 사용하여 여러 ETL 작업을 병렬로 실행할 수 있으며, 각 ETL 작업은 해당 데이터 세트를 사용할 수 있는 경우에만 트리거됩니다. 이러한 ETL 작업은 AWS Glue, Amazon EMR, Amazon Athena 등의 다양한 AWS 서비스나 기타 비 AWS 서비스에서 관리할 수 있습니다.
이 예에서는 판매 데이터 세트와 마케팅 데이터 세트를 처리하는 두 개의 개별 ETL 작업을 AWS Glue에서 실행합니다. 두 데이터 세트가 모두 처리되면 세 번째 ETL 작업이 이전 ETL 작업의 출력을 결합하여 결합된 데이터 세트를 생성합니다. 이 Step Functions 워크플로는 S3에서 데이터를 사용할 수 있을 때까지 기다립니다. 기본 워크플로가 일정에 따라 시작되면 EventBridge 이벤트 핸들러가 Amazon S3 버킷에 구성되므로, Sales 또는 Marketing 데이터 세트 파일이 버킷에 업로드될 때 상태 시스템이 사용 가능한 데이터 세트에 따라 ‘ProcessSales Data’ 또는 ‘ProcessMarketingData’라는 ETL 작업을 트리거할 수 있습니다. 

AWS 계정에서 ETL 오케스트레이션 아키텍처를 설정하는 방법을 자세히 알아보려면 여기에서 아키텍처를 참조하세요. Step Functions에서 AWS Batch 작업을 관리하는 방법은 여기에서 확인할 수 있습니다.

Step Functions를 사용하여 JSON 어레이, S3의 객체 목록 또는 S3 버킷의 CSV 파일과 같은 데이터 세트에서 수천만 개 이상의 항목을 반복적으로 처리할 수 있습니다. 그런 다음 높은 동시성을 유지하면서 데이터를 병렬로 처리할 수 있습니다.

이 예에서 Step Functions 워크플로는 분산 모드의 맵 상태를 사용하여 S3 버킷의 S3 객체 목록을 처리합니다. Step Functions는 객체 목록을 반복적으로 처리한 다음, 항목을 처리하기 위해 동시에 실행되는 수천 개의 병렬 워크플로를 시작합니다. Lambda와 같은 컴퓨팅 서비스를 사용하여 지원되는 어떤 언어로든 코드를 작성할 수 있습니다. 220여가지 목적별 AWS 서비스 중에서 맵 상태 워크플로에 포함할 서비스를 선택할 수도 있습니다. 하위 워크플로 실행이 완료되면 Step Functions는 검토 또는 추가 처리에 사용하도록 결과를 S3 버킷으로 내보낼 수 있습니다.