Salesforce UIP 팀, Amazon EC2 스팟 인스턴스를 사용하여 데이터 처리 시간을 90% 넘게 줄이고 월간 100만 달러 이상의 비용 절감

2019년 말, UIP 팀은 온프레미스 클러스터에서 Amazon EMR로의 전환을 시작했습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Trino와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 기계 학습 애플리케이션을 실행하기 위한 클라우드 빅 데이터 플랫폼입니다. Amazon EMR은 Salesforce가 빅 데이터 프레임워크 관리의 복잡성을 줄이는 데 도움을 주고, Amazon EC2 스팟 인스턴스에 대한 기본 통합을 제공하여 클라우드에서 사용되지 않는 Amazon EC2 용량을 활용할 수 있도록 지원합니다.

팀은 Apache Spark에서 실행되는 워크로드를 비용 최적화 전략의 일환으로 스팟 인스턴스를 사용하기에 적합한 대상으로 파악했습니다. Amazon EMR 기반 Apache Spark는 자동 재시도 기능을 제공하며, 이는 Amazon EC2 용량 요구 사항으로 인해 스팟 인스턴스가 회수되는 경우 복원력 제공에 도움이 됩니다. 또한 UIP 팀은 Spark Streaming을 사용하여 5분 이내로 데이터를 처리하는데, 이는 재시도 가능성을 최소화하는 데 도움이 되는 또 다른 요소입니다.

Salesforce UIP 팀은 최저 비용으로 최고 수준의 가용성을 얻기 위해 다른 Amazon EC2 구매 옵션과 함께 스팟 인스턴스를 사용해보는 실험을 거쳤습니다. 스팟 인스턴스와 Amazon EC2 온디맨드 인스턴스 비율을 다양하게 조정하면서 시나리오를 실행했는데, 이를 통해 장기 약정 없이 초 단위로 컴퓨팅 용량에 대한 비용을 지불하고 인스턴스의 수명 주기를 전체적으로 제어할 수 있습니다. 온디맨드 인스턴스의 경우 Salesforce UIP 팀은 특정 사용량 약정을 조건으로, 온디맨드 요금에 비해 더욱 저렴한 요금을 제공하는 유연한 요금 모델인 절감형 플랜을 사용했습니다. 클러스터의 안정성을 강화하면서 인스턴스 비용 할인을 적절하게 누릴 수 있도록 UIP 팀은 Amazon EC2 사용량의 60%에 스팟 인스턴스를 활용하고 나머지는 절감형 플랜의 적용을 받도록 하는 최적의 구성을 찾아냈습니다. Salesforce UIP 팀은 서비스 수준 계약(SLA)을 충족하기 위해 성능을 염두에 두고 플릿을 만들었습니다. 프로세서 특성 및 SLA 시간 요구 사항 충족 능력에 따라 워크로드를 SLA 클러스터와 SLA 비적용 클러스터로 분할합니다. “플릿을 구축하는 데 있어 실질적인 이점은 사용할 수 있는 인스턴스 유형의 수라고 생각합니다.” Salesforce의 수석 엔지니어 Eric Legault의 의견입니다. “AWS를 사용하면서 다양한 머신 구성을 실험해 보고 다양한 시나리오를 시도할 수 있었습니다. 구성을 변경하기만 하면 몇 시간 후에 실제로 적용되었는지 여부를 확인할 수 있었습니다. 그래서 저는 이 점이 성공에 큰 역할을 했다고 생각합니다.”

스팟 인스턴스 사용에 대한 AWS 모범 사례에 따라 팀은 동일한 용량을 유지하면서 2개 또는 3개의 인스턴스 유형에서 27개 인스턴스 유형으로 전환하여 플릿에 안정성을 더했습니다. UIP 팀은 CPU, 메모리 또는 균형 잡힌 워크로드에 최적화되고 Intel 및 AMD 프로세서가 혼합된 인스턴스 유형을 사용하여 다양한 목적에 특화된 12개의 클러스터를 운영합니다. “인스턴스 유형이 많을수록 클러스터의 복원력이 향상됩니다.” Legault의 설명입니다.

현재 Salesforce UIP 팀은 하루에 200~250TB를 처리하고 있으며, 이전에 100TB를 처리하는 데 필요했던 것과 거의 동일한 비용으로 2배가량의 데이터를 쓰고 있습니다. 팀은 수집 처리를 스트리밍 접근 방식으로 재설계하고 스팟 인스턴스를 사용하여 비용을 제어하면서 인프라를 늘림으로써 처리 효율성도 개선하여 데이터 수집 및 처리 시간을 4시간에서 15분으로 단축했습니다. Salesforce는 컴퓨팅 지표에 대한 가시성을 높이기 위해 AWS 리소스의 모니터링 및 관측성 서비스인 Amazon CloudWatch를 사용합니다. 팀은 운영 메트릭에 대한 시각화를 제공하는 오픈 소스 소프트웨어 Grafana를 사용하여 구축된 맞춤형 대시보드로 애플리케이션을 모니터링합니다.

또한 Salesforce의 UIP 솔루션은 가능한 최소 비용으로 최상의 성능을 발휘하도록 클러스터 크기를 자동으로 조정하는 Amazon EMR 관리형 조정을 사용합니다. 스팟 인스턴스 회수 가능성을 감안하여 Salesforce는 클러스터 용량의 약 5% 확장을 허용합니다. 용량이 추가되면 처리 속도가 빨라져 필요한 순간 클러스터의 가용성과 안정성을 높일 수 있습니다. “확장 이후 용량이 필요하지 않을 때 축소할 수 있다는 점이 진정한 이점이라고 생각합니다.” Legault가 말합니다. “이 프로세스는 또한 회수 발생 시 일어날 수 있는 모든 상황 또한 염두에 둡니다.” 또한 Salesforce의 UIP 팀은 Amazon EMR 관리형 조정의 새로운 기능을 사용하여 Apache Spark의 중간 셔플 데이터를 저장하는 인스턴스의 축소를 방지하여 성능을 향상하고 비용을 절감했습니다.

Salesforce UIP 팀은 스팟 인스턴스 통합으로 절감형 플랜 사용을 보완하고, 컴퓨팅 비용을 60% 넘게 절감하여 매달 100만 달러 이상의 비용을 절약하고 있습니다. UIP 팀은 상시 실행되는 2개의 클러스터 외에도 필요할 때 갑작스러운 데이터 유입을 수용하기 위해 세 번째 클러스터를 비용 효율적으로 확장할 수 있습니다. UIP 팀이 스팟 인스턴스를 사용하여 확장을 처리하면 Salesforce의 다른 영역에서도 비용을 절감할 수 있어 다른 팀이 피크 기간에 비용을 절감하는 데 사용할 수 있는 절감형 플랜 인스턴스를 확보할 수 있습니다.

최적화 프로세스의 일환으로 UIP 팀은 스팟 인스턴스 어드바이저를 사용하며, 이를 통해 중단 가능성이 가장 적은 풀을 결정하는 데 도움을 얻고 온디맨드 요금을 절약하고 있습니다. 팀은 Salesforce의 요구 사항에 따라 거의 실시간으로 AWS 리전 또는 가용 영역을 추천할 수 있는 Amazon EC2 스팟 배치 점수를 사용하여 동적 플릿 관리의 인텔리전스 측면을 강화하고자 합니다. Amazon EC2 스팟 배치 점수를 바탕으로 UIP 팀은 AWS 리전 전반에서 더 큰 용량과 더 저렴한 비용을 모색할 계획입니다. “우리는 클라우드의 용량과 다양한 Amazon EC2 인스턴스 유형을 활용하여 온프레미스에서는 불가능했던 작업을 수행합니다.” Legault의 설명입니다. “Amazon EMR 관리형 조정은 클라우드의 탄력적 용량 사용에 있어 큰 역할을 합니다. 스팟 인스턴스를 사용하는 것만으로도 혁신적인 방식으로 비용을 크게 절감할 수 있습니다.”