Vertex Pharmaceuticals는 AWS를 사용하여 Cryo-EM 데이터 스토리지 비용과 데이터 처리 비용을 50% 절감했습니다.

AWS로의 마이그레이션한 결과, Vertex는 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스로서 데이터가 저장되는 Amazon Simple Storage Service(S3)의 위치에 더 가까운 리전으로 워크로드를 마이그레이션할 수 있었습니다. 또한 Vertex는 세계에서 가장 인기 있는 고성능 파일 시스템 중 하나에 구축된 완전관리형 공유 스토리지인 Amazon FSx for Lustre를 사용하여 과학자들에게 활성 분석 시에 필요한 스토리지 리소스를 정확히 제공합니다.

처리가 끝나면 Vertex는 데이터를 Amazon S3로 다시 전송합니다. 이 회사는 Amazon S3에서 일련의 객체에 적용하는 작업을 정의한 규칙 집합인 Amazon S3 수명 주기 정책을 사용하여 데이터를 효율적으로 정렬합니다. Iturralde는 “Amazon S3 수명 주기 정책을 사용하면 데이터를 여러 티어에 배치하여 스토리지 비용을 낮출 수 있습니다”라고 말합니다. 또한 이 회사는 스토리지를 원활하게 크기 조정하여 데이터 센터 오버헤드를 제한할 수 있습니다.

Vertex는 데이터 처리를 위한 컴퓨팅 리소스를 관리하는 데 오픈 소스 클러스터 관리 도구인 AWS ParallelCluster를 사용합니다. 이 도구는 AWS에서 탄력적인 HPC 클러스터를 간편하게 배포하고 관리할 수 있도록 하며, 분석 소프트웨어의 요구 사항에 따라 HPC 노드를 가동하거나 중단합니다. Iturralde는 “분석 작업이 끝나면 비용을 0에 가깝게 다시 낮출 수 있습니다. 과학의 발전 속도가 우리가 보유한 리소스를 훨씬 뛰어넘거나, 자칫 인프라 유지 관리 작업에 매몰될 걱정을 하지 않아도 됩니다”라고 말합니다.

Vertex는 컴퓨팅 비용을 워크로드 수요에 맞춰 조정함으로써 비용을 50% 절감했습니다. 또한 이전 아키텍처보다 두 배 더 나은 성능을 실현했습니다. 또한 Vertex는 cryo-EM 팀이 온프레미스 환경에서 다른 그룹과 리소스를 공유할 때 종종 발생했던 병목 현상도 해결했습니다. Posson은 “이전에는 다른 누구도 리소스를 사용하고 있지 않은 경우에도 cryo-EM 데이터를 분석하는 데 몇 주가 걸렸습니다. 이제 AWS를 사용하여 1주일 이내에 안정적으로 데이터를 확보할 수 있습니다”라고 말합니다.

Vertex는 Amazon Cognito를 사용한 네이티브 Single Sign-On 지원을 추가했습니다. 이 서비스는 기업들이 웹 및 모바일 앱에 대한 가입, 로그인 및 액세스 제어 기능을 쉽고 빠르게 추가할 수 있도록 합니다. Iturralde는 “Amazon Cognito 덕분에 적절한 직원에게만 소프트웨어 액세스 권한이 부여되어 훨씬 편해졌습니다”라고 말합니다. 아울러 Vertex는 최신 애플리케이션 제공 시에 고급 요청 라우팅 기술로 HTTP 및 HTTPS 트래픽을 로드 밸런싱하는 Application Load Balancer를 사용하여 네트워킹을 보호합니다.

AWS에서 Vertex는 유지 관리를 위한 수작업을 줄이면서 프로세스의 효율성과 확장성, 비용 효율성을 높였습니다. 또한 AWS를 기반으로 환경을 구축한 결과, 데이터 센터 하드웨어를 조달하는 데 소요되는 수개월의 리드 타임 없이 최신 컴퓨팅 리소스와 GPU 리소스를 이용할 수 있게 되었습니다. 일례로, Vertex는 CPU, 호스트 메모리 및 GPU 용량의 강력한 조합을 제공하는 Amazon EC2 G5 인스턴스를 실행하고 있습니다. 과학자들은 클라우드에서 cryo-EM 프로세스를 실행함으로써 거의 실시간으로 분석을 수행할 수 있습니다. Vertex는 값비싼 현미경 사용 시간을 더 효율적으로 사용하면서 과학 혁신을 촉진하고 있습니다.