Amazon FSx for Lustre 고객

Adobe는 세상을 변화시킬 혁신적인 제품을 만들겠다는 단순한 아이디어를 바탕으로 40년 전에 설립되었습니다. Adobe는 모든 사람이 어디서나 상상하고, 창작하고, 디지털 경험을 실현할 수 있는 획기적인 기술을 제공합니다.

과제: Adobe는 오픈 소스 모델에 의존하는 대신 창의적 사용 사례에 맞게 조정된 자체 생성형 AI 파운데이션 모델을 훈련하기로 결정했습니다.

솔루션: Adobe는 모델을 빠르게 반복할 수 있는 AI 훈련 플랫폼 및 데이터 파이프라인을 구축하기 위해 AWS에 AI 초고속도로를 구축했습니다. Adobe는 NVIDIA GPU로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) P5 및 P4d 인스턴스, Amazon Elastic Kubernetes Service(Amazon EKS), Amazon Elastic Block Store(Amazon EBS), Amazon Elastic Fabric Adapter(EFA)를 사용하여 솔루션을 구축했습니다. 또한 Adobe는 방대한 데이터를 위한 데이터 레이크 및 기본 리포지토리로 Amazon Simple Storage Service(Amazon S3)를 사용했습니다. Adobe는 데이터에 빠르게 액세스하고 GPU 리소스가 절대 유휴 상태가 되지 않도록 하기 위해 Amazon FSx for Lustre 고성능 파일 스토리지를 사용했습니다.

LG AI 연구원 LG AI 연구원은 세계 최고의 AI 전문가들과 함께 최적의 연구 환경을 제공하고 최첨단 AI 기술을 활용하여 AI의 차세대 시대를 선도하여 여러분과 함께 유망한 미래를 실현하는 것을 목표로 합니다.

과제: LG AI연구원은 파운데이션 모델인 엑사원(EXAONE)을 1년 만에 프로덕션에 배포해야 했습니다. “인간을 위한 전문가 AI(expert AI for everyone)”의 첫글자를 따서 이름 지어진 엑사원(EXAONE)은 이미지와 텍스트 데이터를 모두 사용하는 3천억 파라미터 규모의 멀티모달 모델입니다.

해결책: LG AI연구원은 Amazon SageMaker를 사용하여 대규모 파운데이션 모델을 훈련하고 Amazon FSx for Lustre를 사용하여 데이터를 인스턴스에 배포하여 모델 훈련을 가속화했습니다. LG AI연구원은 파운데이션 모델인 엑사원을 1년 만에 프로덕션에 배포해야 했습니다. LG AI연구원은 1년 만에 엑사원을 성공적으로 구축했으며 별도의 인프라 관리 팀이 필요 없었기 때문에 비용을 약 35% 절감했습니다.

Paige는 선도적인 디지털 병리학 혁신 제공업체로서 암 진단의 효율성과 신뢰성을 가져다주는 전면적인 AI 지원 웹 기반 솔루션을 제공합니다.

과제: Paige의 온프레미스 솔루션이 한계를 초과했습니다. Paige의 목표는 암 병리학에 도움이 되는 AI 및 ML 모델을 훈련시키는 것이었습니다. Paige는 컴퓨팅 파워가 많을수록 모델을 더 빠르게 훈련시키고 진단 문제를 해결하는 데 도움을 줄 수 있다는 사실을 발견했습니다.

해결책: Paige는 ML 훈련 워크로드를 실행하기 위해 클라우드에서 ML 훈련 및 HPC 애플리케이션을 위한 고성능을 제공하는 NVIDIA A100 Tensor Core GPU로 구동되는 Amazon EC2 P4d 인스턴스를 선택했습니다. Paige는 널리 사용되는 고성능 파일 시스템을 기반으로 구축된 완전 관리형 공유 스토리지인 Amazon FSx for Lustre를 사용합니다. 이 회사는 이 서비스를 일부 Amazon S3 버킷과 연결했는데, 이를 통해 개발팀은 고성능 파일 시스템에 데이터를 수동으로 사전 스테이징하지 않고도 페타바이트 규모의 ML 입력 데이터를 처리할 수 있었습니다. AWS 솔루션의 결과로 Paige는 ML용 AWS 인프라를 사용하여 10배 많은 양의 온프레미스 데이터를 훈련할 수 있게 되었습니다.  또한 Amazon EC2와 Amazon FSx for Lustre를 사용하여 Paige의 내부 워크플로도 72% 더 빨라졌습니다. 

Toyota Research Institute는 객체 인식 기계 학습 훈련 시간을 줄이기 위해 FSx for Lustre를 선택했습니다.

Toyota Research Institute(TRI)는 자사의 자율 주행 차량(AV) 테스트 드라이브에서 대량의 센서 데이터를 수집하고 처리합니다. 각각의 훈련 데이터 집합은 온프레미스 NAS 디바이스에 스테이징되며, 강력한 GPU 컴퓨팅 클러스터에서 처리되기 전에 Amazon Simple Storage Service(S3)로 전송됩니다. TRI는 컴퓨팅 리소스와 페어링하고, ML 모델의 훈련 속도를 단축하며, 데이터 사이언티스트를 위한 인사이트를 가속화할 수 있는 고성능 파일 시스템이 필요했습니다.

Shell은 석유, 가스, 석유화학부터 풍력, 태양열, 수소에 이르기까지 다양한 에너지 옵션의 포트폴리오를 제공합니다. Shell은 고객이 생활에 필요한 에너지를 공급하는 것을 자랑스럽게 생각합니다. 

과제: Shell은 모델 구축, 테스트 및 검증을 위해 HPC를 사용합니다. 2020년부터 2022년까지 GPU 사용률은 평균 90% 미만이었으며, 이로 인해 프로젝트가 지연되고 새로운 알고리즘 실험이 제한되었습니다.

해결책: Shell은 Amazon EC2 클러스터와 Amazon FSx for Lustre를 통해 클라우드로 확장하여 온프레미스 컴퓨팅 파워를 강화합니다. 이 솔루션을 통해 Shell은 신속하게 스케일 업 및 스케일 다운하고 필요할 때만 추가 컴퓨팅 용량을 구매할 수 있습니다. Shell의 GPU는 이제 완전히 활용되어 컴퓨팅 비용을 줄이고 기계 학습 모델 테스트를 가속화합니다.

ENGIE 그룹의 자회사인 Storengy는 업계를 선도하는 천연 가스 공급업체입니다. Storengy는 전 세계 기업을 대상으로 가스 저장고, 지열 솔루션, 무탄소 에너지 생산, 저장 기술을 제공합니다.

Storengy는 생산품을 올바르게 보관하기 위해 하이테크 시뮬레이터를 사용하여 지하 가스 저장고를 평가하는데, 이는 고성능 컴퓨팅(HPC) 워크로드를 광범위하게 사용해야 하는 프로세스입니다. 이 회사는 HPC 기술을 사용하여 천연가스 발굴 및 탐사 작업을 수행하기도 합니다.

Smartronix는 FSx for Lustre를 활용하여 SAS Grid 배포를 위한 안정적인 고성능 환경을 제공합니다.

Smartronix는 세계 유수의 여러 상용 기관 및 정부 기관을 대상으로 클라우드 솔루션, 사이버 보안, 시스템 통합, 전 세계 C5ISR 및 데이터 분석, 미션 중심의 엔지니어링을 제공합니다. Smartronix는 SAS Grid를 사용하여 전국의 코로나19 일일 통계를 분석하고 제공했으나, 기존의 자체 관리형 병렬 파일 시스템을 관리하고 보호하기가 어렵다는 사실을 알게 되었습니다.

Netflix는 수상 경력에 빛나는 다양한 TV 프로그램, 영화, 애니메이션, 다큐멘터리 등을 제공하는 스트리밍 서비스입니다.

과제: Netflix는 미디어 ML 모델, 포스트 프로덕션 썸네일, VFX, 수천 개의 동영상과 수백만 개의 클립에 대한 트레일러 생성을 위한 대규모 분산 훈련을 사용합니다. Netflix는 노드 간 복제와 40%의 GPU 유휴 시간으로 인해 오랜 대기 시간을 겪고 있었습니다.

해결책: Netflix는 데이터 로드 파이프 라인을 다시 설계하고 모든 동영상/오디오 클립을 사전 컴퓨팅하여 효율성을 개선했습니다. 또한 Netflix는 컴퓨팅 성능을 가속화하기 위해 Amazon UltraClusters(EC2 P4d 인스턴스)를 선택했습니다. Amazon FSx for Lustre의 성능 덕분에 Netflix는 GPU를 포화시키고 GPU 유휴 시간을 사실상 없앨 수 있습니다. Netflix는 이제 사전 컴퓨팅 및 FSx for Lustre를 사용하여 3~4배 개선된 성능을 경험하고 있으며, 모델 훈련 시간이 일주일에서 1~2일로 단축되었습니다.

현대자동차는 200여 개국에 브랜드 차량을 수출하는 세계적으로 인정받는 자동차 제조업체로 성장했습니다.

과제: 자율 주행에서 자주 사용되는 알고리즘 중 하나는 시멘틱 세그멘테이션입니다. 시멘틱 세그멘테이션은 이미지의 모든 픽셀에 객체 클래스로 주석을 추가하는 작업입니다. 이러한 클래스는 도로, 사람, 자동차, 건물, 초목, 하늘 등일 수 있습니다. 현대자동차는 정확도를 테스트하고 추가 이미지를 수집하여 특정 상황에서 불충분한 예측 성능을 보정합니다. 그러나 이는 모델을 훈련시키고 예정된 기한을 준수하는 데 충분한 시간을 남겨두면서 새로운 데이터를 모두 준비하기에는 시간이 충분하지 않은 경우가 많기 때문에 어려울 수 있습니다.

해결책: 현대자동차는 모델 훈련을 자동화하기 위해 Amazon SageMaker를, 데이터 병렬화를 위해 Amazon SageMaker 라이브러리를 선택하여 단일 GPU에서 분산 훈련으로 전환했습니다. 그들은 데이터 복사를 기다리지 않고 모델을 훈련시키기 위해 Amazon FSx for Lustre를 선택했습니다. 또한 영구 데이터 스토리지로 Amazon S3를 선택했습니다. 현대자동차는 8개 GPU 인스턴스, 즉 총 64개의 GPU로 최대 93%의 확장 효율성을 달성했습니다. 현대자동차는 FSx for Lustre를 사용하여 대기 시간 없이 동일한 데이터에 대해 여러 훈련 작업과 실험을 실행할 수 있었습니다.

Rivian은 영원히 모험으로 가득 찬 세상을 지키는 것을 사명으로 삼고 있습니다. 당사는 더 책임감 있는 방식으로 세계를 탐험해야 한다고 생각하며 지속 가능한 운송 수단으로 전환하는 과정을 흥미진진한 여정으로 바꾸겠다고 결심했습니다.

전기차 제조사인 Rivian은 촉박한 엔지니어링 일정을 준수하고 물리적 프로토타입 제작의 필요성을 최소화하기 위해 고급 모델링 기술과 시뮬레이션 기술을 활용합니다. 엔지니어는 고성능 컴퓨팅 능력을 시뮬레이션에 활용하여 새로운 컨셉을 테스트하고 새로운 설계를 시장에 빠르게 선보일 수 있게 되었습니다.

Denso는 첨단 운전자 보조 시스템(ADAS, Advanced Driver Assistance Systems)을 위한 이미지 센서를 개발하여 주차 및 차선 변경과 같은 기능을 통해 운전자를 돕습니다.

과제: ADAS 이미지 인식에 필요한 ML 모델을 개발하기 위해 DENSO는 온프레미스 환경에 GPU 클러스터를 구축했습니다. 그러나 여러 ML 엔지니어가 제한된 GPU 리소스를 공유함으로써 특히 신제품 출시 전 바쁜 기간 동안 생산성에 영향을 미쳤습니다.

해결책: Amazon SageMaker와 Amazon FSx for Lustre를 채택함으로써 Denso는 데이터 수집, 모델 개발, 학습 및 평가 시간을 단축하여 ADAS 이미지 인식 모델 생성을 가속화할 수 있었습니다.

Joby Aviation은 AWS를 사용하여 운송을 혁신하고 있습니다.

과제: Joby Aviation의 엔지니어는 수천 개의 복잡하고 컴퓨팅 집약적인 전산 유체 역학(CFD) 시뮬레이션을 수행하기 위해 고성능 컴퓨팅(HPC)을 사용합니다. 이러한 시뮬레이션은 각각 수백 개의 CPU 코어를 사용하며 완료하는 데 많은 시간이 소요될 수 있습니다.

해결책: Joby Aviation은 Amazon Elastic Compute Cloud(Amazon EC2) 및 Amazon FSx for Lustre를 사용하여 온프레미스 고성능 컴퓨팅 인프라보다 CFD 워크로드에서 더 빠른 결과를 얻을 수 있게 되었습니다.

T-Mobile은 Amazon FSx for Lustre를 사용하여 연간 150만 달러를 절감하고 SAS Grid 워크로드 속도를 두 배로 늘렸습니다.

과제: T-Mobile은 자체 관리형 SAS Grid 워크로드로 인한 높은 관리 오버헤드 및 성능 문제를 겪고 있었습니다.

해결책: T-Mobile은 완전관리형 고성능 파일 시스템인 Amazon FSx for Lustre를 배포하여 SAS Grid 인프라를 마이그레이션하고 확장했습니다. 그리고 T-Mobile은 Amazon FSx와 S3의 긴밀한 통합을 활용하여 스토리지 오버헤드를 줄이고 운영을 최적화했습니다.

Netflix는 에피소드 드라마 '더 크라운(The Crown)'의 네 번째 시즌 제작에서 예기치 않은 문제에 봉착했습니다. VFX 후반 제작 작업이 시작될 예정일 때 COVID-19 팬데믹으로 전 세계가 봉쇄 조치에 들어갔던 것입니다. 아티스트 10명으로 구성된 Netflix의 내부 VFX 팀은 AWS의 클라우드 기반 워크플로(처리량 개선을 위한 Amazon FSx Lustre 파일 서버 포함)를 도입하여 완전한 원격 작업으로 단 8개월 만에 시즌의 10개 에피소드에 들어가는 600개 이상의 VFX 장면 촬영을 문제 없이 마칠 수 있었습니다. 

Maxar는 AWS를 사용하여 기상 슈퍼컴퓨터보다 58% 더 빠른 예보를 제공합니다.

과제: 지구 정보 분석 및 우주 인프라 분야의 신뢰할 수 있는 파트너이자 혁신 기업인 Maxar Technologies는 온프레미스 슈퍼컴퓨터보다 더 빠른 속도로 일기 예보를 제공해야 하는 상황에 놓였습니다.

해결책: Maxar는 AWS와 협업하여 안전하고 매우 안정적인 컴퓨팅 리소스를 위한 Amazon Elastic Compute Cloud(Amazon EC2), 애플리케이션의 읽기/쓰기 처리량을 가속화하는 Amazon FSx for Lustre, AWS에서 HPC 컴퓨팅 환경을 신속하게 구축하기 위한AWS ParallelCluster를 비롯한 주요 기술이 포함된 HPC 솔루션을 개발했습니다.

INEOS TEAM UK는 AWS를 사용하여 아메리카 컵(America’s Cup) 대회 출전용 보트를 설계하는 데 소요되는 시간을 단축하고 있습니다.

과제: 2018년에 결성된 INEOS TEAM UK의 목표는 세계에서 가장 오래된 국제 스포츠 대회인 아메리카 컵(America’s Cup)의 우승 트로피를 들어 올리는 것입니다. 아메리카 컵은 대회일 이전 150일 이내에만 수상 테스트를 할 수 있도록 제한하고 있으므로, 단동선(monohull) 및 포일(foil)에 대한 고성능 전산유체역학(CFD) 시뮬레이션은 성공적인 보트 설계의 핵심 요소가 되었습니다.  

해결책: INEOS TEAM UK는 AWS를 사용하여 아메리카 컵 출전용 보트에 대한 수천 개의 설계 시뮬레이션을 일주일 만에 처리할 수 있게 되었으며, 이는 온프레미스 환경을 이용할 경우 한 달 이상 걸리는 것과 대비되는 결과입니다. INEOS TEAM UK는 2021년 제36회 아메리카 컵 대회에 출전했습니다. 이 팀은Amazon EC2 스팟 인스턴스에서 실행되는 HPC 환경을 사용 중입니다.  또한 이 팀은 매주 수천 개의 시뮬레이션 완료를 위한 빠른 디스크 성능을 보장하기 위해 Amazon FSx for Lustre를 사용하여 Amazon Simple Storage Service(S3) 기반의 빠르고 확장 가능하며 안전한 고성능 파일 시스템을 제공하고 있습니다.

Hive VFX는 스튜디오 초기 비용을 절감하고 AWS에서 클라우드 VFX 스튜디오로 운영됩니다.

과제: Hive는 전 세계의 원격 아티스트가 고품질 콘텐츠를 제작할 수 있는 소규모 독립 클라우드 스튜디오를 설립하기 위한 고성능 인프라가 필요했습니다.

해결책: Amazon S3와 통합된 완전관리형 Amazon FSx for Lustre를 사용하여 대규모 초기 투자나 사내 IT 팀의 전문 지식 없이도 AWS 컴퓨팅 리소스에 빠르게 액세스할 수 있게 되었습니다. Hive VFX는 FSx Lustre와 S3 간에 파일 데이터와 파일 권한을 원활하게 동기화하여 다량의 이미지를 저장하고 여러 국가 간에 프로젝트 데이터를 공유할 수 있었습니다.

Lyell은 Amazon FSx for Lustre를 사용하여 세포 기반 암 치료 연구를 가속화하고 있습니다.

과제: Lyell은 대규모 단백질 전산 설계를 실행해야 하는 치유 세포 기반 암 치료법을 제공하고 있습니다. 이러한 워크로드는 전통적으로 온프레미스에서 실행되었지만, Lyell은 한 달에 한 번의 실험만 실행하도록 제한하고 있었기 때문에 확장성이 뛰어나고 비용 효율적인 솔루션이 필요했습니다.

해결책: 파일 시스템을 FSx for Lustre로 마이그레이션한 이후 데이터 사이언티스트들은 EC2 인스턴스와 Amazon FSx 파일 시스템으로 구성된 수천 개의 HPC 클러스터를 스핀업 및 스핀다운할 수 있게 되었습니다. 따라서 이제 처리량이 많은 실험을 신속하게 실행할 수 있으며, 워크로드 기간에 대한 컴퓨팅 및 스토리지 비용만 지불하면 됩니다.

BlackThorn Therapeutics는 FSx for Lustre를 통해 인사이트 도출 시간을 단축합니다.

과제: 일반적인 DIY 클라우드 파일 시스템을 사용하여 자기공명영상(MRI) 데이터를 처리할 경우 많은 리소스와 시간이 소요되었습니다. BlackThorn은 데이터 과학 및 기계 학습 워크플로를 단순화하는 데 도움이 되는 컴퓨팅 집약적인 공유 파일 스토리지 솔루션이 필요했습니다.

해결책: Amazon FSx for Lustre는 Amazon S3 및 Amazon SageMaker와 통합되어 ML 훈련 데이터 집합을 빠르게 처리할 뿐만 아니라, Amazon EC2 인스턴스를 사용하여 컴퓨팅에 원활하게 액세스할 수 있습니다.

Qubole은 Amazon FSx for Lustre를 통해 비용을 절감하는 동시에 데이터 내구성을 개선합니다.

과제: Qubole은 고객을 위한 분석 및 AI/ML 워크로드를 처리할 고성능 스토리지 솔루션을 찾고 있었습니다. EC2 스팟 플릿에 보관된 중간 데이터를 쉽게 저장하고 처리할 수 있는 기능이 필요했습니다.

해결책: Qubole은 Amazon FSx for Lustre를 사용하여 병렬 고속 파일 시스템을 통해 중간 데이터를 저장하고 처리했습니다.