Amazon S3 Intelligent-Tiering 스토리지 클래스

Stripe는 인터넷을 위한 경제 인프라를 구축하는 기술 회사입니다. 신생 기업부터 상장 기업에 이르기까지 모든 규모의 기업이 Stripe 소프트웨어를 사용하여 결제를 수락하고 온라인으로 비즈니스를 관리합니다.

“2018년에 S3 Intelligent-Tiering을 출시한 이후로 성능에 영향을 주거나 데이터를 분석할 필요 없이 스토리지 비용을 매월 최대 30%까지 자동으로 절감했습니다. 새로운 Archive Instant Access 티어를 통해 아카이브 스토리지 가격 책정의 이점을 자동으로 실현하면서 필요할 때 즉시 데이터에 액세스할 수 있는 기능을 유지할 수 있을 것으로 기대됩니다.“

Stripe 효율성 책임자 Kalyana Chadalavada

GRAIL은 조기 암 발견을 위한 신기술을 개척하여 생명을 구하고 건강을 개선하는 데 주력하는 의료 회사입니다. GRAIL은 과학자, 엔지니어 및 의사로 구성된 다학문적 조직을 구축했습니다. 이들은 차세대 염기서열 분석, 대규모 임상 연구, 최첨단 컴퓨터 과학 및 데이터 과학의 힘을 활용하여 의학의 가장 큰 과제 중 하나를 극복하고 있습니다.

“우리는 대부분의 데이터를 S3 Intelligent-Tiering으로 전환하여 기가바이트당 스토리지 비용을 40% 절감할 수 있었습니다.”

GRAIL 소프트웨어 개발 이사 Olga Ignatova

CineSend는 영화 및 TV 산업을 위한 클라우드 기반 미디어 자산 관리 도구를 제공하는 선두 업체입니다. CineSend는 스튜디오, 독립 제작자 및 영화 배급사가 프리미엄 미디어 콘텐츠 전송 워크플로를 관리할 수 있도록 즉시 사용 가능한 맞춤형 소프트웨어 솔루션 포트폴리오를 제공합니다.

“S3 Intelligent-Tiering을 사용하면서 저장된 미디어 콘텐츠에 '설정만 하면 잊어버리는' 모델을 사용할 수 있게 되었습니다. 자주 또는 덜 자주 액세스하는 파일이 적절한 스토리지 클래스에 있으며 비용이 효율적으로 최소한으로 유지되고 있다는 확신을 가지고 우리 팀은 최첨단 기술을 통해 전 세계에 안전한 동영상 콘텐츠를 제공하는 데 집중할 수 있습니다.”

CineSend 기술 부문 부사장 D’Arcy Rail-Ip

2008년에 설립된 Zalando는 유럽의 대표적인 패션 및 라이프스타일 전문 온라인 플랫폼으로, 3,200만 명이 넘는 활성 고객을 확보하고 있습니다. Amazon S3는 Zalando의 데이터 인프라의 기초로서, 스토리지 비용을 최적화하기 위해 S3 스토리지 클래스를 활용했습니다.

"Amazon S3 Intelligent-Tiering은 30일 동안 사용되지 않은 객체를 자주 사용하지 않는 액세스 계층으로 자동 이동하여 연간 스토리지 비용을 37% 절감해 주었습니다."

Zalando 수석 데이터 엔지니어 Max Schultze

Amazon Photos는 전 세계 8개 마켓플레이스의 Amazon Prime 회원에게 무제한 사진 스토리지와 5GB의 비디오 스토리지를 제공합니다. 고객은 Amazon Photos의 모바일, 웹 및 데스크톱 앱에서 추억을 백업, 재현 및 공유하고, 이러한 추억을 Amazon Echo Show 및 Amazon Fire TV와 같은 Amazon 스마트 스크린 디바이스에서 다시 감상합니다.

“Amazon Photos가 출시된 이후로 우리는 Amazon S3를 사용해 왔습니다. S3 Standard 스토리지는 비즈니스 규모에 따라 성장할 수 있었지만, 대량의 (그리고 계속 증가하는) 데이터의 비용과 성능을 최적화해야 하는 과제가 있었습니다. 2018년에 S3 Intelligent-Tiering이 출시되고 최근에 S3 Intelligent-Tiering Archive Instant Access 티어가 추가되면서 Amazon Photos 팀은 기존 서비스를 거의 또는 전혀 변경하지 않고도 AWS 솔루션을 즉시 사용할 수 있었고 그 과정에서 스토리지 비용을 10% 이상 절감할 수 있었습니다.“

Amazon Photos 소프트웨어 개발 관리자 Arun Kumar Agarwal
Amazon Photos 수석 소프트웨어 개발 관리자 Stacie Buckingham

크리에이터가 고유한 아이디어를 바탕으로 맞춤형 상품을 만들 수 있는 서비스를 제공하는 온라인 플랫폼인 Teespring은 고속 성장에 따라 회사의 데이터가 페타바이트 규모로 기하급수적으로 증가했으며 이 같은 증가세는 지금도 계속 이어지고 있습니다. 여타의 클라우드 네이티브 기업과 마찬가지로 Teespring도 AWS를 사용하여 문제를 해결했으며, 특히 Amazon S3에 데이터를 저장한 것이 주요했습니다. 

S3 Intelligent-Tiering을 사용하면서 Teespring은 이제 월간 스토리지 비용을 30% 이상 절감하고 있습니다.

ProSiebenSat.1과 Discovery의 합작 회사인 독일 라이브 스트리밍 서비스 Joyn GmbH는 풍부한 콘텐츠 저장소를 활용하여 구독자에게 독점적인 하이퍼로컬 시리즈와 과거의 영화를 즐길 수 있도록 합니다. 이를 가능하게 하기 위해 Joyn은 최근 40개의 AWS Snowball 어플라이언스를 사용하여 3개월도 안 되어 온프레미스 시설에서 Amazon S3로 3페타바이트(PB) 이상의 미디어 아카이브를 전송했습니다.

Joyn은 Amazon S3 Intelligent-Tiering을 활용하여 성능이나 운영 오버헤드에 영향을 주지 않으면서 모든 콘텐츠를 온라인 상태로 유지하고 액세스 패턴 변화에 따라 스토리지를 자동으로 최적화할 수 있습니다. 관심이 많은 콘텐츠는 아카이브에서 자주 액세스하는 계층으로 분류되고, 주의를 덜 받는 콘텐츠는 자주 사용하지 않는 액세스 계층으로 분류됩니다.

“예전에는 심층 아카이브에서 어떤 콘텐츠를 검색할지 또는 아카이브에 무엇을 보관해야 할지 선택해야 했지만 이제는 당연한 일이 되었습니다. S3 Intelligent-Tiering을 사용하여 동일한 총 소유 비용(TCO)으로 스토리지 볼륨을 3배 늘릴 수 있었습니다. 공간을 확보하기 위해 더 이상 콘텐츠를 삭제할 필요가 없고, 사용 빈도가 낮은 콘텐츠는 액세스 빈도가 낮은 계층이나 아카이브 계층에 위치하게 되어 매우 좋습니다.”

Joy 미디어 엔지니어 Stefan Haufe

SimilarWeb은 AWS를 사용하여 대량의 데이터를 관리하며, 데이터 과학자는 이를 통해 시장 인텔리전스 플랫폼을 개선하기 위한 알고리즘을 구축합니다. SimilarWeb은 S3 Intelligent-Tiering을 사용하여 직원을 위해 해당 데이터를 대중화하고 스토리지 비용을 20% 절감할 수 있습니다.

AppsFlyer는 선도적인 모바일 광고 귀인 및 마케팅 분석 플랫폼입니다. AppsFlyer는 Amazon S3의 페타바이트 규모의 데이터 레이크에 매일 1,000억 개의 이벤트 데이터를 저장합니다. 하지만 365일이 경과한 객체에 대해 향후 자주 액세스함으로써 예상치 못한 검색 비용이 발생할 수 있을지 여부에 대해서는 거의 파악하지 못했습니다. AppsFlyer는 다른 솔루션이 필요했는데 S3 Intelligent-Tiering에서 그 솔루션을 찾았습니다.

AppsFlyer는 정보에 입각한 결정을 내려 데이터를 S3 Intelligent-Tiering로 전환함으로써 저장 GB당 18%의 비용을 절감할 수 있었습니다. 비용 절감은 수익 증대에 도움이 되고 AppsFlyer가 새로운 워크로드에 투자할 수 있게 해주기 때문에 AppsFlyer에게 중요합니다.

“S3 Intelligent-Tiering을 사용하면 과거 데이터를 검토하고 그 위에 변경 사항을 적용해야 할 때마다 더 효과적으로 사용하고 비용 효율성을 높일 수 있습니다.”

AppsFlyer CTO 겸 공동 설립자 Reshef Mann

Capital One은 1994년부터 뱅킹 및 결제를 혁신하는 기술을 사용하여 금융 서비스 산업에 지각 변동을 일으켰습니다. 오늘날 이 ‘디지털 은행’은 AWS에 올인하여 스토리지, 데이터 분석, 마이크로서비스, AI/ML 및 기타 솔루션으로 혁신을 이어가고 있습니다.

“우리는 기업 전체에서 매우 크고 빠르게 성장하는 버킷의 스토리지 비용을 신속하게 최적화할 수 있는 방법을 찾고 싶었습니다. 스토리지 사용 패턴은 상위 버킷에 따라 매우 다양하기 때문에 운영 오버헤드를 감수하지 않고 안전하게 적용할 수 있는 명확한 규칙이 없었습니다. S3 Intelligent-Tiering 스토리지 클래스는 변화하는 데이터 액세스 패턴에 따라 성능에 영향을 주지 않고 자동으로 스토리지를 절약했습니다. 추가 노력 없이 더 큰 비용 절감을 실현할 수 있는 S3 Intelligent-Tiering의 새로운 Archive Instant Acess 티어의 효과를 기대하고 있습니다.”

Capital One 소프트웨어 엔지니어링 이사 Jerzy Grzywinski

Mobileye는 컴퓨터 비전, 기계 학습, 매핑 및 데이터 분석 분야에서 세계적으로 유명한 전문 지식을 활용하여 자율 주행 및 운전자 지원 기술로 모빌리티 혁명을 주도하고 있습니다.

“액세스 패턴을 예측할 수 없는 경우가 많기 때문에 Amazon S3 Intelligent-Tiering를 사용합니다. 새로운 S3 Intelligent-Tiering Archive Instant Access 티어를 통해 수 페타바이트의 자율 주행 차량 데이터에 대한 비용을 더욱 절감하면서 개발자가 즉시 액세스할 수 있습니다.“

Mobileye 클라우드 인프라 개발 이사 Yanor Barros

Epic Games는 4억 명 이상의 플레이어를 보유한 세계에서 가장 인기 있는 비디오 게임 중 하나인 Fortnite를 만든 인터랙티브 엔터테인먼트 회사입니다. 1991년에 설립된 Epic은 현재 자동차, 영화 및 TV, 시뮬레이션과 같이 산업 전반에서 실시간 프로덕션에 사용되는 수백 개의 게임을 지원하는 3D 제작 엔진인 Unreal Engine을 출시하여 게임을 혁신했습니다. 

“S3 Intelligent-Tiering을 사용하여 서비스 및 활동을 중단하지 않고 스토리지 변경을 구현할 수 있습니다. 데이터는 데이터 액세스에 따라 비용이 저렴한 계층으로 자동 이동되므로 개발 시간이 많이 절약되고 비용이 절감됩니다. 시간이 흐르면 우리 팀은 조직 목표를 달성하기 위해 인프라 비용을 절감할 수 있는 다른 기회를 찾는 데 집중할 수 있습니다. S3 Intelligent-Tiering의 새로운 Archive Instant Access 티어는 스토리지 비용을 훨씬 많이 절감하는 데 도움이 될 것입니다.”

Epic Games 비용 관리 책임자 Joshua Bergen

Embark는 도로를 더 안전하게 만들고 운송 효율성을 개선하기 위해 자율 주행 트럭 기술을 구축하고 있습니다. COVID-19 팬데믹이 닥쳤을 때 Embark는 공중 보건에 대한 사회적 책임을 준수하고 직원의 안전을 보장하기 위해 트럭 운영을 중단하기로 결정했습니다. Embark는 Amazon S3에 있는 페타바이트 규모의 과거 데이터를 발판으로 이러한 데이터를 더욱 심층적으로 활용할 수 있는 시스템을 개발했습니다. 

엔지니어들은 관심 시나리오를 찾기 위해 수년 간의 과거 데이터에서 수천 시간의 주행 데이터를 수집하기 시작했고, 이 데이터를 사용하여 시스템을 테스트할 수 있는 강력한 시뮬레이션을 구축했습니다. Embark는 모든 데이터를 S3 Intelligent-Tiering 스토리지 클래스를 사용하여 저장했기 때문에 비용을 최적화하는 동시에 데이터 레이크에 대한 갑작스러운 무작위 데이터 액세스 패턴을 지원하기 위해 어떤 데이터를 제공해야 하고, 이러한 데이터를 다른 스토리지 계층 간에 어떻게 이동해야 하는지 고민할 필요가 없었습니다. 

S3 Intelligent-Tiering은 팀이 더 나은 데이터 파이프라인과 시뮬레이션 시스템을 구축하는 데 모든 엔지니어링 노력을 집중할 수 있도록 비용 최적화 작업을 모두 수행했습니다. AWS의 도움으로 Embark의 팀은 팬데믹 문제에 빠르게 적응할 수 있었고 일시 중지가 해제된 후에도 자율 주행 트럭의 안전 및 효율성 이점을 제공하는 데 계속 집중할 수 있었습니다.