AWS Batch FAQ

AWS Batch는 작업 실행과 컴퓨팅 리소스 관리를 처리하므로 사용자는 인프라를 설정하고 관리하는 대신 애플리케이션 개발이나 결과 분석에 집중할 수 있습니다. 배치 워크로드를 AWS에서 실행하거나 AWS로의 이전을 고려하고 있다면 AWS Batch를 사용해야 합니다.

AWS Batch는 여러 작업을 병렬로 실행하여 확장하는 배치 컴퓨팅과 애플리케이션에 최적화되어 있습니다. 딥 러닝, 게놈 분석, 금융 위험 모델, Monte Carlo 시뮬레이션, 애니메이션 렌더링, 미디어 트랜스코딩, 이미지 처리 및 엔지니어링 시뮬레이션은 모두 배치 컴퓨팅 애플리케이션의 좋은 예입니다.

AWS Batch 워크로드를 논리적으로 구분되는 요소 세트(예: 시뮬레이션 환경 및 테스트 중인 시스템(SUT), 기본 애플리케이션 또는 원격 측정 사이드카)로 모델링하려는 경우 다중 컨테이너 작업 기능을 사용해야 합니다. 이 기능을 사용하면 운영이 간소화되고 모범 아키텍처 사례를 따르기가 쉬워지며 프로덕션 시스템 시스템의 다중 컨테이너 아키텍처에 맞게 시뮬레이션을 조정할 수 있습니다. SUT 및 시뮬레이션 환경에 대해 별도의 컨테이너를 실행하려는 경우 또는 보조 사이드카를 추가해야 하는 경우 더 이상 모든 워크로드 요소를 모놀리식 컨테이너로 결합하고 코드가 변경될 때마다 다시 빌드할 필요가 없습니다. 결과적으로 DevOps를 간소화하고, 컨테이너를 다운로드하기에 작고 빠르게 유지하며, 작업 병렬화를 촉진할 수 있습니다.

AWS Batch는 단일 노드 정규 작업, 어레이 작업, 다중 노드 병렬(MNP) 작업을 비롯한 모든 작업 유형에서 여러 컨테이너를 실행할 수 있도록 지원합니다.

Amazon ECS, Amazon EC2, AWS Fargate 및 Amazon EKS를 비롯한 모든 AWS Batch 컴퓨팅 환경에서 다중 컨테이너 작업을 실행할 수 있습니다.

AWS Batch는 컴퓨팅 환경 및 작업 대기열을 관리합니다. 따라서 사용자는 스팟 또는 온디맨드 리소스 간에 전환할 수 있는 옵션과 함께 Amazon ECS, Amazon EKS 및 AWS Fargate를 사용하여 규모에 관계없이 수천 개의 작업을 손쉽게 실행할 수 있습니다. 배치 작업을 정의하고 대기열에 이를 제출하기만 하면 됩니다. 그러면 AWS Batch가 작업을 실행할 장소를 선택하고 필요한 경우 AWS 용량을 추가로 시작합니다. AWS Batch는 작업 진행 상황을 신중하게 모니터링하고, 용량이 더는 필요 없게 되면 AWS Batch가 이를 제거합니다. 또한, AWS Batch는 파이프라인 또는 워크플로의 일부로서 작업을 제출할 수 있는 기능을 제공하므로 작업을 제출하면서 작업 간에 존재하는 상호 종속성을 표시할 수 있습니다.

AWS Batch에서는 Docker 컨테이너로 실행될 수 있는 모든 작업을 지원합니다. 작업이 자신의 메모리 요구 사항과 vCPU 개수를 지정합니다.  

AWS Batch 컴퓨팅 리소스는 EC2 인스턴스 또는 AWS Fargate 컴퓨팅 리소스입니다.

AWS Batch 컴퓨팅 환경은 작업이 실행되는 컴퓨팅 리소스 모음입니다. AWS Batch는 AWS에서 프로비저닝하고 관리하는 관리형 컴퓨팅 환경과 고객이 관리하는 비관리형 컴퓨팅 환경이라는 두 가지 유형의 컴퓨팅 환경을 지원합니다. 비관리형 컴퓨팅 환경은 전용 호스트, 규모가 더 큰 스토리지 구성, Amazon EFS 등 특화된 리소스를 활용할 수 있는 메커니즘을 제공합니다.

작업 정의는 실행될 작업, 파라미터, 환경 변수, 컴퓨팅 요구 사항 및 작업 실행을 최적화하는 데 사용되는 기타 정보를 설명합니다. 작업 정의는 작업을 제출하기 전에 정의되고 다른 작업과 공유될 수 있습니다.

AWS Batch는 Amazon ECS를 사용하여 컨테이너식 작업을 실행하므로 ECS 에이전트가 AWS Batch 컴퓨팅 환경 내 컴퓨팅 리소스에 설치되어 있어야 합니다. ECS 에이전트는 관리형 컴퓨팅 환경에 사전에 설치됩니다.

AWS Batch 컴퓨팅 환경은 EC2 스팟 인스턴스로 구성될 수 있습니다. 관리형 컴퓨팅 환경을 생성할 때 EC2 스팟 인스턴스를 사용할 것을 지정하고 지불할 온디맨드 요금의 백분율을 제공하기만 하면 나머지는 AWS Batch가 처리합니다. 비관리형 컴퓨팅 환경도 EC2 스팟 플릿에서 시작하는 스팟 인스턴스를 비롯하여 사용자가 시작하는 스팟 인스턴스를 포함할 수 있습니다.

AWS Batch에 대한 추가 비용은 없습니다. 배치 작업을 저장하고 실행하기 위해 생성한 AWS 리소스(예: EC2 인스턴스 또는 AWS Fargate)에 대한 비용만 지불하면 됩니다.

예. Batch를 사용하여 작업에 필요한 액셀러레이터의 수와 유형을 현재 vCPU 및 메모리 옵션과 함께 작업 정의 입력 변수로 지정할 수 있습니다. AWS Batch는 필요한 액셀러레이터를 토대로 작업에 적합하게 인스턴스의 크기를 확장하고, 적절한 컨테이너만 액셀러레이터에 액세스할 수 있도록 각 작업의 요구에 따라 액셀러레이터를 격리합니다.

Batch와 함께 액셀러레이터를 사용하면 액셀러레이터 필요성에 따라 작업을 동적으로 예약하고 프로비저닝할 수 있으며 Batch는 작업에 대해 적절한 수의 액셀러레이터가 예약되도록 합니다. Batch는 필요한 경우 EC2 가속화된 인스턴스를 확장하고, 작업이 완료되면 EC2 가속화된 인스턴스를 축소하여 사용자가 애플리케이션에 집중할 수 있도록 합니다. Batch는 EC2 스팟과의 네이티브 통합 기능을 제공합니다. 즉, 가속화된 인스턴스를 사용할 때 가속화된 작업을 통해 최대 90%의 비용 절감 효과를 얻을 수 있습니다.

현재 가속화된 P 및 G 인스턴스에서 GPU를 사용할 수 있습니다.

작업 정의에서 액셀러레이터의 수와 유형을 지정할 수 있습니다. 액셀러레이터 유형(예: GPU - 현재 유일하게 지원되는 액셀러레이터)과 작업에 필요한 유형의 수를 설명하여 액셀러레이터를 지정합니다. 지정된 액셀러레이터 유형은 컴퓨팅 환경에 지정된 인스턴스 유형 중 하나에 있어야 합니다. 예를 들어 작업에 2개의 GPU가 필요한 경우 컴퓨팅 환경에서 P 인스턴스를 지정해야 합니다.

API에서:
{
"containerProperties": {
"vcpus": 1,
"image": "nvidia/cuda:9.0-base",
"memory": 2048,
"resourceRequirements" : [
{
"type" : "GPU",
"value" : "1"
}
],

vCPU 및 메모리 요구 사항과 마찬가지로 작업 제출 시 액셀러레이터의 수와 유형을 덮어쓸 수 있습니다.

현재 작업에서 Batch는 가능한 경우 가속화된 인스턴스에 대해 가속화가 필요 없는 작업을 예약하지 않을 것입니다. 이는 장기 실행 작업이 액셀러레이터를 활용하지 않으면서 가속화된 인스턴스를 차지하여 비용을 증가시키는 경우를 방지하기 위한 것입니다. 드물게 스팟 요금과 관련된 경우, 허용되는 유형이 가속화된 인스턴스의 경우, Batch가 액셀러레이터 필요성에 관계없이 가속화된 인스턴스가 작업을 실행하는 데 가장 비용이 적게 드는 방법이라고 판단할 수 있습니다.

CE에 Batch가 가속화된 인스턴스만 시작할 수 있는 작업을 제출할 경우 Batch는 액셀러레이터 필요성에 관계없이 해당 인스턴스에서 작업을 실행합니다.

이제부터는 p 유형 인스턴스가 기본적으로 ECS GPU 최적화 AMI로 시작됩니다. 이 AMI에는 GPU 기반 애플리케이션을 실행하는 데 필요한 라이브러리와 런타임이 포함되어 있습니다. CE를 만들 때 항상 필요에 따라 사용자 지정 AMI를 가리킬 수 있습니다.

시작하려면 AWS 설명서의 시작 가이드를 따르세요.

시작하기 위해 자체 컴퓨팅 리소스를 수동으로 시작할 필요는 없습니다. AWS Batch 웹 콘솔이 첫 번째 컴퓨팅 환경과 작업 대기열을 생성하는 프로세스를 안내하므로 이를 따라 첫 번째 작업을 제출하면 됩니다. 컴퓨팅 환경 내 리소스는 추가 작업이 준비되면 확장되고 실행할 수 있는 작업 수가 감소하면 축소됩니다.