Amazon EFS를 사용하여 유전체학 데이터 인사이트를 신속하게 확보하는 Ancestry

Ancestry®는 가족력 및 소비자 유전체학 분야의 글로벌 리더로서, 가계도, 역사적 기록 및 DNA를 사용하여 사람들이 본인에 대해 알아가는 여정을 돕습니다. Ancestry의 소비자 DNA 네트워크에는 1,800만 명 이상의 사람들에 대한 정보가 있습니다. AncestryDNA®는 고급 유전체 과학 기술을 사용하여 회원들이 본인과 일치하는 DNA를 탐색하고, 더 정확한 리전에 연결하고, 유전적 건강 정보와 개인 특성에 대한 인사이트를 얻을 수 있는 더 다양한 방법을 제공함으로써 가족력에 대한 새로운 세부 정보를 발견할 수 있도록 도와줍니다.

AncestryDNA의 팀에서는 인구 유전학자, 계산 생물학자, 통계학자, 역학자, 유전체 데이터 사이언티스트, 생물정보학자 등, 수십 명의 과학자가 수 테라바이트의 스토리지에 저장된 유전자 및 기타 데이터를 분석하는 알고리즘을 개발하고 있습니다. 이전에는 확장 가능한 Network Attached Storage(NAS) 클러스터를 온프레미스에서 자체적으로 관리했지만, 모니터링, 프로비저닝, 향후 요구 사항 예측을 위한 고급 계획 기능의 부재로 스토리지와 컴퓨팅 리소스를 빠르게 확장할 수 없었습니다. AncestryDNA의 유전체학 담당 부사장인 Eurie Hong 박사는 “저희 데이터는 지속적으로 증가하고 있기 때문에 유전자 네트워크의 성장에 맞추어 확장하는 것이 과제 중 하나였습니다”라고 말합니다. “저희는 기하급수적으로 증가하는 분석용 데이터 세트 크기를 감당할 수 있도록 컴퓨팅 용량을 확장하기를 원했습니다.”

또한 AncestryDNA 연구팀은 예측할 수 없는 워크로드를 지원할 수 있도록 탄력성도 높여야 했습니다. Ancestry의 생물 정보학 부문 관리자인 Asher Baltzell 박사는 “저희 워크플로는 변동이 매우 심합니다. 따라서 한 해 동안 필요한 디스크 및 컴퓨팅 용량을 예측할 수 없어 예산을 할당하기가 어려웠습니다”라고 말합니다.

AncestryDNA 연구팀은 Amazon Web Services(AWS)로 이전하기로 결정했습니다. Baltzell은 “회사 전반에서 AWS로 이전하기 시작했고, 저희는 클라우드의 확장성과 유연성에 관심이 많았습니다”라고 말합니다.

이 팀은 온디맨드 컴퓨팅에 Amazon Elastic Compute Cloud(Amazon EC2)를 사용하고, 확장 가능한 완전관리형 탄력적 네트워크 파일 시스템(NFS)인 Amazon Elastic File System(Amazon EFS)을 공유 데이터 파일 시스템으로 사용합니다. Hong은 “과학자들은 보통 전통적인 파일 서버를 작업에 사용하므로, 연구원들이 이전에 사용했던 것과 비슷한 것을 원할 것임을 잘 알고 있었습니다. 하지만 Amazon EFS를 사용하면, 변화하는 워크로드를 처리할 수 있는 확장성과 탄력성이 Amazon EFS에서 제공되므로 구현이나 지속적인 관리에 신경을 쓸 필요가 없습니다”라고 말합니다. AncestryDNA는 Amazon Simple Storage Service(S3)도 사용합니다.

AncestryDNA 연구팀은 프로젝트 일정에 영향을 주거나 데이터 과학팀의 생산성을 저해하지 않으면서 예정보다 빨리 마이그레이션을 완료할 수 있었습니다.

Ancestry는 이제 데이터 스토리지 제한에 대해 걱정할 필요 없이 Ancestry Human Diversity Project에 맞춰 연구를 수행할 수 있습니다. Hong은 "Amazon EFS를 사용하면 연구 워크로드의 확장에 대해 걱정할 필요가 없습니다. 컴퓨팅 및 스토리지 요구 사항이 어떻든 연구원들의 요구에 맞게 시스템을 자동으로 확장할 수 있습니다”라고 말합니다.

또한 Amazon EFS는 완전관리형 클라우드 파일 시스템이므로 AncestryDNA에서 자체 NFS 서버를 구축하고 관리할 필요가 없었습니다. Hong은 “저희는 자체 파일 시스템을 만들고 관리하는 데 시간과 비용을 낭비하고 싶지 않습니다. 그보다는 연구에 집중하고 싶습니다. Amazon EFS를 사용하면 그렇게 할 수 있습니다”라고 말합니다.

이제 Ancestry는 예측할 수 없는 워크로드 증가나 감소를 관리하는 데 필요한 탄력성을 갖추게 되었습니다. Baltzell은 “Amazon EFS가 제공하는 탄력성과 유연성은 저희에게 큰 도움이 됩니다”라고 말합니다. 또한 이 팀은 Amazon EC2를 사용하여 비용을 최적화할 수 있습니다. “연구원들이 한 번에 더 많은 리소스를 사용할 수 있고, 유휴 리소스에 대해 비용을 지불하지 않아도 됩니다. 10대의 서버를 상시 운영하는 것이 아니라, 필요한 시간 동안만 100대의 서버를 실행할 수 있습니다. 또한 비용을 예측하고 관리하기도 더 쉬워졌습니다.”

Amazon EFS는 Ancestry의 이전 온프레미스 시스템과 일관된 환경을 제공하므로, 데이터 사이언티스트가 Jupyter 및 RStudio 데이터 과학 분석 노트북에서 모두 마운트할 수 있는 공유 프로젝트 및 개인 폴더를 사용하여 작업을 손쉽게 관리할 수 있습니다. 또한 신입 과학자가 작업을 수행하는 클라우드 환경에서는 이전과 동일한 방식으로 데이터에 액세스하고 데이터를 저장하므로 온보딩하기도 쉽습니다. 과학자들에게 익숙한 파일 시스템을 사용하므로, 컴퓨팅 및 분석 방법을 배우는 데 시간을 허비할 필요 없이 혁신을 앞당기는 데 잠재적으로 도움이 될 수 있는 인접한 여러 AWS 서비스를 사용할 수 있습니다. 또한 이 팀의 과학자들은 Hadoop 빅 데이터 프레임워크를 기반으로 하는 연구를 지원하기 위해 Amazon EMR을 사용합니다.

AncestryDNA 과학자들은 이제 혁신에 더 집중할 수 있게 되었습니다. Hong은 “AWS를 사용하는 덕분에 고객의 고유한 가족력을 발견하는 데 도움이 되는 새로운 방법을 찾는 데 더 많은 시간을 할애할 수 있게 되었습니다. 저희는 고객이 가족력을 더 잘 이해하고 유전자가 미래의 건강에 어떤 영향을 미칠 수 있는지 알아내는 데 도움이 될 방법을 찾기 위해 계속 노력할 것입니다”라고 말합니다.