Amazon EKS로 비즈니스 모드를 바꾸고 전례 없는 성장을 관리하는 New Relic

2008년에 설립된 New Relic은 엔지니어들에게 전체 소프트웨어 스택을 분석, 문제 해결 및 최적화하는 서비스형 소프트웨어(SaaS) 플랫폼을 제공하는 관측성 분야의 선두 업체입니다. 2020년, New Relic은 호스트 기반 모델에서 소비 기반 요금 모델로 전환하며 비즈니스를 혁신하기 위한 여정을 시작했습니다. 또한 New Relic은 모든 고객에게 제공되는 무료 서비스 계층을 도입하고 플랫폼의 수요 증가에 대비했습니다. 이 회사는 예상되는 성장 궤도에 대응하기 위해 전체 플랫폼을 Amazon Web Services(AWS)로 마이그레이션하기로 결정했습니다. New Relic은 8개월 동안 자체 도구와 프로세스, AWS 기능 및 오퍼링을 활용하여 20,000대 이상의 서버를 마이그레이션하고 서비스 플랫폼을 리팩터링했습니다. 플랫폼을 리팩터링하는 데에는 Amazon Elastic Kubernetes Service(Amazon EKS)가 활용되었습니다. 이 마이그레이션 및 리팩터링 프로그램에서 엔지니어링 효율성과 플랫폼 복원력이 크게 향상되었으며, 공격적인 성장 목표를 지원하기 위한 장기적인 확장성을 갖추게 되었습니다.

New Relic은 텔레메트리 데이터를 한 곳에 집계하고 고객에게 유용한 데이터를 실시간으로 전송하여 인프라, 클라우드 리소스, 컨테이너 및 애플리케이션의 성능에 대한 인사이트를 제공합니다. 2021년 2월을 기준으로, New Relic은 한 달에 120PiB의 데이터를 수집하며 이 수치는 1개월마다 6PiB씩 증가할 것으로 전망됩니다. 이러한 폭발적인 성장은 New Relic 서비스에 대한 수요 증가와 함께 확장성의 한계를 불러왔고, 이는 프라이빗 클라우드 데이터 센터의 기존 하드웨어와 소프트웨어를 업데이트하는 것만으로도 엄청난 부담을 줄 수 있다는 위협을 유발했습니다. 관측성 분야를 선도하는 기업으로서 New Relic과 엔지니어링 팀은 반복적인 인프라 관리 작업이 아니라, 고객이 시스템을 계측하는 방법을 개선할 플랫폼을 제공하는 데 계속 주력하기를 원했습니다.

New Relic은 Amazon EKS와 Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 비롯하여 다양한 완전관리형 서비스를 활용하기 위해 AWS로 마이그레이션을 시작했으며, 이들 서비스의 최대 소비자 중 하나가 되었습니다. 처음에 New Relic은 Amazon EKS로의 전환에 대비하여 자체 Kubernetes 클러스터를 Amazon Elastic Compute Cloud(Amazon EC2)에서 실행하도록 마이그레이션했습니다. 이 구성을 바탕으로 New Relic은 신속하게 확장하고 혁신할 수 있었으며, 6개월 만에 수집 워크로드를 30% 가까이 마이그레이션했습니다. New Relic이 Amazon EKS로 전환한 후에는 이 마이그레이션을 더욱 빠르게 진행할 수 있었으며 현재 고객 데이터의 거의 90%를 Amazon EKS 클러스터에서 수집합니다. Amazon EKS로의 마이그레이션은 아직 초기 단계에 있지만, 이 회사는 이미 수십 개의 Amazon EKS 클러스터를 실행 중입니다. 여기에는 총 19,000개의 노드와 150,000개 이상의 포드가 포함되어 있으며, 내년에 이 숫자를 세 배로 늘릴 계획입니다.

Kubernetes 업그레이드 및 보안 패치를 수행하지 않아도 되므로, New Relic 팀은 작업 시간의 10% 이상을 절약하여 코드를 더 자주 릴리스하고 고객을 위해 추가적인 가치를 창출하는 새로운 제품과 기능을 개발하는 데 할애할 수 있게 되었습니다. Amazon EKS로 마이그레이션하면서 New Relic의 엔지니어들은 고객 경험에 집중할 수 있게 되었고, 클라우드, DevOps 및 디지털 트랜스포메이션 이니셔티브를 위한 대표적인 솔루션 회사라는 시장에서의 입지에 더욱 걸맞은 경험을 제공하고 있습니다.

관측성 회사로서 New Relic의 시스템은 계장화되었고, 이는 핵심 플랫폼을 AWS로 마이그레이션하는 등 대규모로 변경을 수행하는 능력을 크게 강화했습니다. New Relic은 어디서 잠재적인 병목 현상이 발생할 수 있는지 정확히 알고 있었습니다. New Relic 팀은 세부적인 수준의 호스트 지표를 살펴보는 대신, 시스템의 토폴로지를 파악할 수 있었고, 시스템에서 발생하는 이상 징후를 시간 연속체 상에서 자세히 살펴볼 수 있었습니다. 엔지니어들은 New Relic 플랫폼을 사용하여 모놀리식 프라이빗 클라우드 데이터 센터에서 마이크로서비스 셀 기반 아키텍처로의 대규모 데이터 마이그레이션을 동시에 시각화하고, Kubernetes 워크로드를 완벽하게 계측하여 마이그레이션 전반의 개별 시스템 성능을 감지했습니다. 이러한 높은 수준의 관측성과 정보를 통해 NewRelic은 매우 짧은 시간에 대량의 데이터를 이동하고, 프로덕션 트래픽을 Amazon EKS 환경으로 신속하게 전환할 수 있다는 자신감을 얻었습니다. 또한 마이그레이션 초기에 New Relic 엔지니어링 팀은 자체 플랫폼을 사용하여 현재의 프라이빗 클라우드 컴퓨팅 요구 사항을 파악했습니다. 그 덕분에 비용 절감의 관점에서 명확한 이점을 확인하고 Amazon EKS에 대한 리팩터링 결정을 내릴 수 있었습니다.

고객은 가장 민감하고 시간이 중요한 데이터를 다루는 데 있어서 New Relic을 신뢰합니다. New Relic은 Amazon EKS와 같은 서비스를 활용함으로써, 데이터 센터 및 하드웨어 관리 작업이 아니라 핵심 역량에 집중할 수 있게 되었습니다. 예를 들어 물리적 하드웨어를 사용할 경우 언제든지 해당 하드웨어에 장애가 발생할 수 있습니다. New Relic은 이제 더 이상 장애 및 복구 문제와 씨름할 필요가 없으며, 이러한 문제는 Amazon EKS의 자동화된 도구를 통해 관리됩니다. 특히 블랙 프라이데이나 사이버 먼데이 같이 사용량이 피크에 달하는 이벤트 기간 동안에도 더 이상 한밤중에 엔지니어의 지원을 받지 않고도 장애로부터 더 빨리 복구하고 고객의 가동 중지 시간을 줄일 수 있습니다.

신뢰성이 향상되면 고객 신뢰도가 높아지고 보안도 강화됩니다. New Relic은 Amazon EKS 덕분에 이미 FedRAMP 인증을 획득했으며, 현재 Amazon EKS 이미지 생성 기능을 활용하여 HITRUST 인증을 받기 위해 준비 중입니다. 또한 Amazon EKS 자체도 FedRAMP 중급/고급 인증을 획득하는 과정에 있으며, 이는 궁극적으로 FedRAMP 고급 인증을 취득하려는 New Relic의 계획과 부합합니다.

New Relic은 AWS에서 제공하는 컴퓨팅 탄력성을 활용하여 엔지니어링 역량을 확대하고 제품 혁신 및 시장 확장을 위한 새로운 기회를 창출했습니다. 그 결과, New Relic은 보다 완벽한 인터넷 구축이라는 야심찬 목표를 달성하는 데 한 발짝 다가서게 되었습니다.