Habana Labs(인텔 자회사)의 Gaudi 액셀러레이터로 구동되는 Amazon EC2 DL1 인스턴스는 자연어 처리, 객체 탐지 및 이미지 인식 사용 사례에서 저렴한 비용으로 훈련할 수 있는 딥 러닝 모델을 제공합니다. 딥 러닝 훈련에서 현세대 GPU 기반 EC2 인스턴스와 비교할 때 DL1 인스턴스는 최대 40% 우수한 가격 대비 성능을 제공합니다.
Amazon EC2 DL1 인스턴스는 액셀러레이터당 32GiB의 고대역폭 메모리(HBM), 768GiB의 시스템 메모리, 사용자 지정 2세대 인텔 제온 스케일러블 프로세서, 400Gbps의 네트워킹 처리량, 4TB의 로컬 NVMe 스토리지 구성과 8개의 Gaudi 액셀러레이터가 특징입니다.
DL1 인스턴스는 TensorFlow 및 PyTorch 등의 선도적인 기계 학습 프레임워크와 통합된 Habana SynapseAI® SDK를 포함합니다.
AWS Deep Learning AMI, AWS Deep Learning Containers 또는 컨테이너식 애플리케이션용 Amazon EKS 및 ECS를 사용하여 DL1 인스턴스를 쉽게 시작할 수 있습니다. Amazon SageMaker는 곧 DL1 인스턴스를 지원할 예정입니다.
이점
낮은 비용으로 딥 러닝 모델 훈련
DL1 인스턴스는 딥 러닝 훈련에서 현재 세대 GPU 기반 EC2 인스턴스와 비교할 때 최대 40% 우수한 가격 대비 성능을 제공합니다. 해당 인스턴스는 딥 러닝 모델 훈련 목적으로 제작된 Gaudi 액셀러레이터를 사용합니다. 또한 EC2 Savings Plan을 사용하여 딥 러닝 모델 훈련 비용을 크게 줄임으로써 추가적인 비용 절감 효과를 얻을 수 있습니다.
사용 편의성 및 코드 이식성
전문적인 지식수준과 관계없이 모든 개발자가 DL1 인스턴스로 쉽게 시작할 수 있습니다. DL1 인스턴스를 시작할 때 AWS DL AMI 및 DL 컨테이너를 통해 자신의 워크플로 관리 서비스를 계속해서 사용할 수 있습니다. 고급 사용자는 프로그래밍 가능한 TPC(Tensor Processing Cores)를 사용해 사용자 지정 커널을 구축하여 자체 모델의 성능을 최적화할 수 있습니다. Habana SynapseAI® 도구를 사용해 현재 GPU 또는 CPU 기반 인스턴스에서 실행하는 기존 모델을 최소한의 코드 변경을 통해 DL1 인스턴스로 원활하게 마이그레이션할 수 있습니다.
선도적인 기계 학습 프레임워크 및 모델 지원
DL1 인스턴스는 선도적인 TensorFlow 및 PyTorch 등의 선도적인 기계 학습 프레임워크를 지원하므로 사용자가 선호하는 기계 학습 워크플로를 그대로 사용할 수 있습니다. Habana의 GitHub 리포지토리에서 객체 탐지용 Mask R-CNN, 자연어 처리용 BERT 등의 최적화된 모델에 액세스하여 빠르게 모델을 구축하고 훈련하여 배포할 수 있습니다. SynapseAI의 풍부한 Tensor Processing Core(TPC) 커널 라이브러리가 모델의 범위 및 성능 필요에 따라 다양한 종류의 연산자와 많은 데이터 유형을 지원합니다.
기능
Habana Labs의 Gaudi 액셀러레이터로 구동
인텔의 자회사인 Habana Labs의 Gaudi 액셀러레이터로 구동되는 DL1 인스턴스는 8개의 완전 프로그래밍 가능한 TPC 및 액셀러레이터당 32GiB의 높은 대역폭 메모리를 자랑합니다. 훈련 효율성을 극대화하기 위한 이기종 컴퓨팅 아키텍처와 매트릭스 수학 연산을 위한 구성 가능한 중앙 집중식 엔진이 탑재되어 있습니다. 또한 액셀러레이터 간의 낮은 지연 시간 통신을 위해 업계에서 유일하게 Gaudi 액셀러레이터마다 10개의 100기가비트 이더넷 포트가 네이티브로 통합되어 있습니다.
Habana SynapseAI® SDK
SynapseAI® SDK는 그래픽 컴파일러와 런타임, TPC 커널 라이브러리, 펌웨어, 드라이버 및 도구로 구성됩니다. TensorFlow 및 PyTorch 등의 선도적인 프레임워크와 통합됩니다. 통신 라이브러리는 GPU 기반 인스턴스에서 현재 사용하는 운영과 동일한 방식을 사용해 빠르게 다수의 액셀러레이터로 확장할 수 있도록 도와줍니다. 이러한 결정적 확장은 다양한 신경망 토폴로지에서 활용도와 효율성을 높입니다. SynapseAI® 도구를 사용해 최소한의 코드 변경으로 원활하게 마이그레이션하고 기존 모델을 DL1 인스턴스에서 실행할 수 있습니다.
고성능 네트워킹 및 스토리지
DL1 인스턴스는 고속 네트워크 액세스가 필요한 애플리케이션에 대해 400Gbps의 네트워킹 처리량과 Amazon Elastic Fabric Adapter(EFA) 및 Amazon Elastic Network Adapter(ENA)에 대한 연결을 제공합니다. 대규모 데이터 집합에 대한 빠른 액세스의 경우, DL1 인스턴스는 4TB의 로컬 NVMe 스토리지를 포함하며 초당 8GB의 읽기 처리량을 전달합니다.
AWS Nitro System 기반
DL1 인스턴스는 AWS Nitro System을 기반으로 구축됩니다. 이 시스템은 기존 가상화 기능의 대부분을 전용 하드웨어 및 소프트웨어로 오프로드하여 고성능, 고가용성, 우수한 보안을 제공하는 동시에 가상화 오버헤드를 줄이는 풍부한 빌딩 블록 집합입니다.
제품 세부 정보
인스턴스 크기 |
vCPU |
인스턴스 메모리(GiB) |
Gaudi 액셀러레이터 |
네트워크 대역폭(Gbps) |
양방향 P2P(Peer-to-Peer) 액셀러레이터(Gbps) |
인스턴스 스토리지(GB) | EBS 대역폭(Gbps) | 온디맨드(요금/시간) | 1년 예약 인스턴스 실질 시간당* | 3년 예약 인스턴스 실질 시간당* |
dl1.24xlarge |
96 |
768 |
8 |
400 |
100 |
4 x 1,000 NVMe SSD |
19 | 13.11 USD | 7.87 USD | 5.24 USD |
표시된 요금은, 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전 기준입니다.
고객 추천사
Seagate Technology는 40년이 넘게 데이터 스토리지 및 관리 솔루션의 글로벌 리더 자리를 지켜왔습니다. Seagate의 데이터 과학 및 기계 학습 엔지니어는 고급 딥 러닝(DL) 결함 탐지 시스템을 구축하고 자사의 제조 설비 전체에 배포했습니다. 최근의 개념 증명 프로젝트에서 Habana Gaudi는 현재 Seagate 프로덕션에서 사용되는 DL 의미론적 세분화 모델 중 하나의 훈련에 투입되어 성능 목표를 초과 달성했습니다.
“Habana Gaudi 액셀러레이터로 구동되는 Amazon EC2 DL1 인스턴스는 상당한 가격 대비 성능 이점을 제공합니다. 그래서 AWS 컴퓨팅 클러스터가 향후 더 추가될 수 있을 것으로 기대합니다. Habana Labs가 계속 진화하고 더 광범위한 연산자를 지원할 수 있게 되면 더 많은 엔터프라이즈 사용 사례에 확장될 수 있는 잠재력이 있으며, 그에 따라 비용 절감 효과도 더 커질 것으로 보고 있습니다."
Darrell Louder, Seagate의 운영, 기술 및 고급 분석 엔지니어링 부문 선임 디렉터
Leidos는 병원과 의료 시스템, 생물의학 조직 및 건강에 중점을 둔 모든 미국 연방 기관에 광범위하고 확장 가능한 맞춤형 솔루션을 제공하는 상위 10대 의료 IT 제공업체로 인정받고 있습니다.
“오늘날 우리가 의료 발전을 가능하게 하는 수많은 기술 중 하나는 의료 영상 데이터를 기반으로 질병 진단에 기계 학습과 딥 러닝을 사용하는 것입니다. 가장 긴급한 의학적 미스터리를 해결하고자 노력하는 연구자들을 돕기 위해서는, 우리가 보유한 방대한 데이터 세트로 시기적절하고 효율적인 딥 러닝 훈련을 수행해야 합니다. 회사와 고객 모두를 위해 딥 러닝을 위한 빠르고, 쉽고, 비용 효율적인 훈련 솔루션이 필요합니다. 이 여정을 위해 인텔과 AWS를 선택하고 Habana Gaudi AI로 구동되는 Amazon EC2 DL1 인스턴스를 사용하게 되어 매우 기쁘게 생각합니다. DL1 인스턴스를 통해 모델 훈련 속도와 효율성이 향상되고, 그에 따라 연구 개발 위험과 비용이 감소할 것으로 기대합니다.”
Chetan Paul, Ledios의 건강 및 HR 부문 CTO
인텔은 실시간으로 운동선수의 움직임이 담긴 동영상을 분석하여 성능 훈련 과정에서 데이터로 활용하고 경기 중 관중의 경험을 향상시키는 3D 운동선수 추적 기술을 개발했습니다.
“Habana Labs의 Gaudi 액셀러레이터로 구동되는 Amazon EC2 DL1 인스턴스로 모델을 훈련시킴으로써 비용을 줄이면서 정확하고 신뢰도 높은 방식으로 수천 개의 동영상을 처리하며 관련 성능 데이터를 생성할 수 있게 되었습니다. DL1 인스턴스를 사용한 결과, 이제 다양한 스포츠 종목에서 모든 수준의 운동선수, 팀 및 방송인에게 생산적으로 서비스를 제공하는 데 필요한 속도와 비용으로 훈련을 수행할 수 있게 되었습니다."
Rick Echevarria, 인텔의 영업 및 마케팅 부문 그룹 부사장
RiskFuel은 금융 포트폴리오를 관리하는 기업에 실시간 평가 및 위험 민감도 데이터를 제공하여 거래 정확도와 성과를 높일 수 있도록 지원합니다.
“Habana Gaudi AI 액셀러레이터 기반의 Amazon EC2 DL1 인스턴스를 선택하게 된 데에는 두 가지 요인이 있습니다. 첫째, 은행 및 보험 고객사가 최신 하드웨어의 이점을 최대한 활용할 수 있는 Riskfuel 모델을 실행할 수 있도록 하고 싶었습니다. 다행히도 우리 모델을 DL1 인스턴스로 쉽고 간단하게 마이그레이션할 수 있었습니다. 실제로 몇 줄의 코드만 변경하면 끝나더군요. 둘째, 훈련 비용은 회사의 지출에서 큰 부분을 차지합니다. 가격 대비 성능이 최대 40% 향상된다는 약속은 잠재적으로 수익에 상당한 이점을 제공합니다."
Ryan Ferguson, Riskfuel의 CEO
Fractal은 Fortune지 선정 500대 기업의 의사 결정을 돕는 인공 지능 및 분석 분야의 글로벌 리더입니다.
“인공 지능과 딥 러닝은 Fractal의 머신 비전 역량의 핵심이라고 할 수 있으며, 우리가 참여하는 업계 전반에서 고객이 더 나은 결정을 내릴 수 있도록 도와줍니다. 정확도를 개선하려면 데이터 집합이 점점 커지고 복잡해져서 더 크고 복잡한 모델이 요구됩니다. 이로 인해 컴퓨팅 비용 대비 성능을 높일 방법을 찾아야 합니다. 새로운 Amazon EC2 DL1 인스턴스는 GPU 기반 EC2 인스턴스와 비교해 현저하게 낮은 훈련 비용을 약속합니다. 이로써 클라우드를 통한 AI 모델 훈련에서 비용 경쟁력을 더 높이고 전보다 더 광범위한 고객에게 서비스를 제공할 수 있을 것으로 기대합니다.”
Srikanth Velamakanni, Fractal 그룹 CEO
시작하기
AWS Deep Learning AMIs(DLAMI) 및 AWS Deep Learning Containers(DLC)
AWS Deep Learning AMIs(DLAMI) 및 AWS Deep Learning Containers(DLC)는 데이터 과학자, 기계 학습 실무자, 연구자들에게 딥 러닝 프레임워크가 사전 설치된 머신 및 컨테이너 이미지를 제공합니다. 따라서 소프트웨어 환경을 처음부터 구축하고 최적화하는 복잡한 과정을 건너뛰고 쉽게 시작할 수 있습니다. Gaudi 액셀러레이터용 SynapseAI SDK가 AWS DL AMIs 및 DLCs에 통합되어 DL1 인스턴스를 빠르게 시작할 수 있습니다.
Amazon Elastic Kubernetes Service(EKS) 또는 Elastic Container Service(ECS)
컨테이너 오케스트레이션 서비스를 통해 자체 컨테이너식 워크로드를 관리하려는 고객은 Amazon EKS 또는 ECS를 통해 DL1 인스턴스를 배포할 수 있습니다.
