Amazon OpenSearch Service를 사용하여 새로운 비즈니스 기회를 창출하는 Guru

지식 관리 소프트웨어를 제공하는 스타트업 기업인 Guru Technologies(Guru)는 기업들이 내부 정보가 저장된 위치에 관계없이 필요할 때마다 간편하게 내부 정보에 액세스할 수 있도록 지원합니다. 빠르고 관련성 높은 쿼리 결과는 Slack, Noom, Nubank, Zoom Video Communications, Shopify, Spotify 등과 같은 회사를 비롯한 고객 기반과 Guru에 항상 중요했습니다. 그러나 Guru는 상당한 성장, 특히 월간 활성 사용자의 상당한 성장을 보게 되었을 때, 자체 관리형 Elasticsearch 솔루션에는 회사가 대규모 혁신을 계속하는 데 필요한 확장성, 속도 또는 안정성이 없다는 사실을 알게 되었습니다. 

2014년 Guru가 설립된 이후로 Amazon Web Services(AWS)를 사용해 온 Guru는 솔루션을 위해 다시 AWS를 찾았습니다. 관리형 서비스인 Amazon OpenSearch Service를 사용하면 대화형 로그 분석, 실시간 애플리케이션 모니터링, 웹사이트 검색 등을 쉽게 수행할 수 있습니다.

클라우드 기반 솔루션을 구현하기 위해 Guru는 처음부터 AWS 기반의 기술 인프라를 구축했습니다. 이 회사는 클라우드가 스토리지, 확장성 및 탄력성에 대한 요구 사항을 충족할 수 있는 반면 코로케이션 센터에서 인프라를 실행하려면 관리 및 용량 확장에 상당한 노력이 필요하다는 점을 알고 있었습니다. Guru의 CTO 겸 공동 설립자인 Mitchell Stewart는 이렇게 말합니다. "AWS 기반으로 시작했을 때 목표는 코드형 인프라를 구축하여 환경을 자동으로 가동할 수 있도록 하는 것이었습니다."

이 회사는 처음에 AWS CloudFormation을 사용했습니다. 이 서비스는 코드형 인프라를 통해 손쉬운 방법으로 관련된 AWS 및 서드 파티 리소스 모음을 모델링하고, 일관된 방식으로 간단히 프로비저닝하며, 수명 주기 전반에 걸쳐 관리할 수 있는 방법을 제공합니다. 또한 Guru는 Amazon Elastic Block Store(Amazon EBS)도 활용했는데, 이는 처리량과 트랜잭션 집약적인 워크로드 모두를 대규모로 지원하기 위해 Amazon Elastic Compute Cloud(Amazon EC2)에서 사용하도록 설계된 사용하기 쉬운 고성능 블록 스토리지 서비스입니다. Stewart는 이렇게 말합니다. "우리는 매우 단순한 아키텍처로 시작했습니다. 그 이후로 우리는 AWS가 지난 7년 동안 출시한 이러한 모든 기술을 계속해서 채택해 왔습니다. 우리 아키텍처는 훨씬 더 복잡해졌지만 원칙은 동일합니다. AWS는 계속해서 완전관리형 서비스를 제공하여 여러 가지 탄력적이고 동적인 확장 문제를 해결하므로 우리가 직접 해결할 필요가 없습니다.”

Guru의 경우 이러한 확장 문제 중 하나가 Elasticsearch를 중심으로 이루어졌습니다. 이 회사는 처음에 컴퓨팅용 Amazon EC2를 사용하여 자체 Elasticsearch 클러스터를 호스팅했습니다. Stewart는 다시 이렇게 말합니다. "Elasticsearch는 우리 제품의 핵심 부분입니다. 우리는 사용자에게 짧은 대기 시간과 관련 검색 결과를 제공하여 전반적인 검색 성능을 개선하기 위한 방법을 적극적으로 모색하고 있기 때문에 많은 리소스와 관심을 이에 집중하고 있습니다." Amazon OpenSearch Service로의 마이그레이션 결정은 리소스를 기반으로 했습니다. Stewart는 계속해서 말을 이어갑니다. "우리는 이렇게 자문했습니다. '우리의 Elasticsearch 클러스터에 대해 신경 쓰는 전담 직원을 두고 싶은 건가? 아니면 Elasticsearch 서비스를 통해 전문 관리를 제공하고 싶은 건가?'라고요."

Guru는 2020년 여름에 Amazon OpenSearch Service로의 마이그레이션을 시작했으며 몇 달 후 완료했습니다. 짧은 시간 내에 회사는 마이그레이션을 통해 여러 가지 이점을 얻을 수 있었습니다. 예를 들어, 이 회사는 Amazon EMR(오픈 소스 도구를 사용하여 방대한 양의 데이터를 처리하는 업계 최고의 클라우드 빅 데이터 서비스)을 사용하여 검색 엔진의 검색 결과 관련성을 개선하기 위한 실험 프레임워크를 개발할 수 있었습니다. 이 프레임워크는 궁극적으로 사용자가 원하는 정보를 더 빨리 찾는 데 도움이 될 것입니다.

이 프레임워크를 사용하여 Guru는 빠르고 유용한 여러 테스트를 실행할 수 있습니다. 예를 들어 이 회사는 제안된 알고리즘 변경으로 새로운 Elasticsearch 클러스터를 가동하고 새 클러스터의 검색 결과 관련성이 원래 프로덕션 클러스터의 검색 결과 관련성보다 좋은지 나쁜지 결정할 수 있습니다. Amazon OpenSearch Service를 통해 Guru는 실시간으로 검색 쿼리를 기록할 수 있으므로 부분적으로 검색 결과 관련성을 측정하고 비교할 수 있습니다. Stewart는 이렇게 말합니다. “[Amazon OpenSearch Service], Amazon EMR 및 알고리즘 반복 실험에 즉시 사용할 수 있는 모든 도구가 없었다면 작업 수행을 고려하기 위한 대역폭조차도 필요 없었을 것입니다."

Guru가 이전에 시도했던 실험에는 몇 주 또는 몇 달이 걸렸습니다. 그러나 AWS 환경으로 마이그레이션한 후 이 회사는 몇 시간 또는 몇 분 안에 실험을 실행할 수 있었습니다. "이전에 실험을 실행해야 할 때마다 DevOps 리소스가 실험을 실제로 실행할 수 있도록 확장하는 데만 5~6시간을 소비했습니다"라고 말한 Guru의 수석 기계 학습 엔지니어인 Nabin Mulepati는 이렇게 말을 이어갑니다. "이제 '노드 30개를 주세요'라고 말하면 1시간 만에 실험을 실행할 준비가 된 클러스터가 생깁니다. 그리고 실험이 완료된 후에는 불필요한 비용이 발생하지 않도록 규모를 줄일 수 있습니다.”

2020년 가을 마이그레이션이 완료된 시기와 2021년 초 사이에 Guru는 거의 5억 개의 쿼리를 재생하는 것과 관련된 실험을 실행했습니다. 이러한 실험의 결과로, 이 회사는 검색 성능이 10% 향상되는 것을 확인했습니다.

Guru가 실험을 활발히 실행하지 않더라도, 관리형 Amazon OpenSearch Service 환경을 통해 회사는 업그레이드를 훨씬 간단하게 수행할 수 있습니다. Guru의 수석 엔지니어인 Jeff Plater는 이렇게 말합니다. "과거에는 Elasticsearch가 내놓는 새로운 기능을 활용할 수 없었기 때문에 고객의 문제를 해결할 수 없었습니다. 이제 [Amazon OpenSearch Service]로 마이그레이션했으므로 최신 상태를 유지하고 이러한 기능을 사용할 수 있습니다. 궁극적으로 이를 통해 사용자를 위한 검색 서비스를 보다 신속하게 개선할 수 있습니다.” 하루에 최대 100만 건의 검색 요청이 발생하기 때문에 Guru는 속도를 늦출 여유가 없습니다.

자체 관리형 Elasticsearch 클러스터에서 Amazon OpenSearch Service로 마이그레이션함으로써 Guru는 실험과 혁신에 더 많은 시간을 할애할 수 있었습니다. 이 프레임워크를 적절히 사용하면서 Guru는 k-최근접 이웃 알고리즘 구현 및 순위 학습을 포함하여 기계 학습 및 딥 러닝을 실험할 수 있는 확장 가능한 경로를 갖게 되었습니다. 이 회사는 또한 데이터 과학자와 개발자가 기계 학습을 위해 특별히 구축된 광범위한 기능 세트를 결합하여 고품질 기계 학습 모델을 신속하게 준비, 구축, 교육 및 배포하는 데 도움이 되는 Amazon SageMaker 사용을 시작할 계획입니다.

새로운 기능을 출시하면서 빠르게 성장하고자 하는 스타트업으로서 Guru는 AWS가 회사의 지속적인 혁신을 이루는 데 필요한 안정성, 확장성 및 탄력성을 제공할 수 있다는 사실을 알게 되었습니다. "AWS의 장점 중 하나는 셀프 서비스라는 점입니다. 환경 자체 내에서 원하는 만큼 빠르게 이동할 수 있다는 것입니다.” Guru의 제품 마케팅 이사인 Steve Mayernick은 이렇게 말을 이어갑니다. “정말 빨리 시작하고 시작에 필요한 모든 시스템을 사용한 다음, 반복하고 반복하고 또 반복할 수 있습니다. 타사 공급 업체와 협력하는 데 필요한 허가를 받기 위해 속도를 늦출 필요 없이 모든 것을 구축할 수 있습니다.”