Amazon MSK 고객

Arm은 컴퓨팅의 미래를 만들어가고 있습니다. Arm의 에너지 효율적인 프로세서 설계와 소프트웨어 플랫폼은 2,700억 개 이상의 칩에서 고급 컴퓨팅을 가능하게 했으며, Graviton CPU 제품군을 비롯한 센서부터 스마트폰 및 슈퍼컴퓨터에 이르기까지 제품에 안전하게 전원을 공급합니다.

"Kafka는 몇 년 전부터 온프레미스와 클라우드 모두에서 Arm 엔지니어링 분석 플랫폼의 핵심 구성 요소로 사용되고 있습니다. Kafka는 초기 커미셔닝 이후 Arm 아키텍처에서 실행되었지만, 신뢰성을 개선하고 관리 오버헤드를 줄이기 위해 우리는 Amazon Managed Streaming for Apache Kafka(MSK)을 사용하기로 결정했습니다.

 

MSK가 Graviton 3를 지원하도록 개선됨에 따라 분석 서비스를 완전한 Arm 기반 스택으로 전환하여 운영의 탄소 발자국을 줄이는 동시에 더 낮은 비용으로 더 높은 성능을 제공할 수 있게 되었습니다."

 

Tim Thornton, ARM Arm Based Engineering Director

Nexthink는 디지털 직원 경험(DeX)의 선두 주자입니다. 기업에 실시간 인사이트를 제공하고 디지털 업무 공간 문제를 진단 및 해결함으로써 기업의 직원 생산성 및 만족도를 높일 수 있도록 합니다. Nexthink 플랫폼은 전 세계 1,500만 개 이상의 디바이스에서 매일 수조 건의 이벤트를 수집하고 처리합니다. 이 사업은 불과 3년 만에 10배로 성장했고 Nexthink는 데이터 모으기 및 처리를 200MB/s에서 5GB/s로 원활하게 확장할 수 있는 Amazon Managed Streaming for Apache Kafka(MSK)로 전환했습니다. Amazon MSK에서 이벤트 기반 마이크로서비스 아키텍처를 채택함으로써 Nexthink는 운영 오버헤드를 최소화하면서 조직의 민첩성 및 확장성을 개선하고 혁신을 가속화할 수 있었습니다. Amazon MSK는 실시간 데이터 처리 기능, 안전한 데이터 액세스 제어, 풍부한 관찰성을 지원했습니다.

블로그 게시물 읽기 »

“Amazon MSK를 통해 엔터프라이즈급 신뢰성과 보안을 활용하면서 원활하게 확장할 수 있었습니다. Kafka 관리 업무를 AWS에 맡김으로써 핵심 비즈니스에 계속 집중하고 더 빠르게 혁신할 수 있었습니다.”

Moe Haidar, Nexthink Principal Engineer

The Orchard는 음악 산업을 이끄는 선도적인 배급사로서 전 세계 디지털 및 물리적 소매업체에 음원을 공급합니다. 배급사의 규모가 커지면서 분석 품질, 인사이트를 얻는 데 소요되는 시간, 팀 전체의 데이터를 동기화하고 공유하는 기능을 개선해야 했습니다. 이 목표에 도달하기 위해 The Orchard는 사일로화된 데이터 시스템을 중앙 집중화하고 직원 및 고객용 애플리케이션의 정보를 간단하게 공유할 수 있는 방법을 찾아야 했습니다.

The Orchard는 Amazon Managed Streaming for Apache Kafka를 사용하여 고성능 데이터 동기화 솔루션을 구축했습니다. 직원들은 거의 실시간으로 데이터에 액세스할 수 있게 되었고 검색 쿼리의 정확도가 개선되었으며 메타데이터를 동기화하는 데 소요되는 시간이 10시간에서 30분으로 단축되었습니다.

“메타데이터 스토어를 동기화하는 데 10시간은 걸렸을 것입니다. Amazon MSK를 사용하는 지금은 이 프로세스가 30분이면 완료됩니다.”

Farouk Umar, The Orchard 엔지니어링 리드 관리자

자세히 알아보기 »

세계 최고의 엔지니어링 팀이 New Relic을 사용하여 소프트웨어 시각화, 분석 및 문제 해결을 수행합니다. New Relic One은 더 완벽한 소프트웨어를 만드는 데 도움이 되는 가장 강력한 클라우드 기반 관측성 플랫폼입니다.

"데이터 센터에서 AWS로 마이그레이션할 때 Kafka에 대한 비즈니스 크리티컬 투자를 보존하면서 Kafka를 직접 실행할 때의 오버헤드를 크게 줄이고 싶었습니다. 그래서 MSK를 선택했습니다. 인프라와 Kafka 소프트웨어 관리의 상당한 부분을 MSK 클러스터로 전환하고 해당 클러스터를 평균 40GB/초의 데이터 수집을 지원할 수 있는 규모로 확장했습니다. 이제는 하드웨어 및 소프트웨어를 더 이상 관리하지 않아도 클러스터를 최신 상태로 유지할 수 있습니다. 따라서 더 많은 리소스를 우리가 가장 잘하는 분야인 클라이언트 팀의 Kafka 관련 서비스 개발에 투입할 수 있습니다. MSK를 사용하면 핵심 역량에 집중하여 더 좋은 제품을 더 빠르게 더 자주 릴리스할 수 있습니다."

Andrew Hartnett, New Relic 엔지니어링 부문 전무 이사

동영상 보기 »

Nutmeg는 유럽 최대 규모의 디지털 자산 관리사로서, 비용 효율적인 기술을 통해 수익을 높임으로써 소비자가 자산을 늘리고 재무 목표를 달성할 수 있게 도와줍니다. Nutmeg는 이벤트 기반 아키텍처로 전환하는 과정을 지원하기 위해 Apache Kafka를 사용합니다.

“Amazon MSK를 도입한 이후로 팀의 업무 효율이 개선되었고 클러스터를 유지 관리하는 데 소요되는 시간을 줄일 수 있게 되었습니다. 데이터 요구 사항과 사용 사례가 증가함에 따라 Kafka 클러스터를 관리하는 데 따르는 업무 부담과 복잡성이 크게 늘어나기 시작했습니다. Amazon MSK를 사용한 결과, 클러스터를 확실하게 관리하고, 클러스터의 성능을 확인하는 데 드는 시간을 줄이고, 손쉽게 확장할 수 있게 된 것은 물론, 흥미로운 실시간 애플리케이션을 혁신하고 구축하는 데 더 많은 시간을 집중적으로 활용할 수 있게 되었습니다.”

Matt Gatrell, Nutmeg CTO

Poshmark는 차세대 소매업체 및 구매자를 위한 업계를 선도하는 소셜 커머스 플랫폼입니다. Poshmark의 사명은 기술을 통해 세계 최대 규모의 연결된 쇼핑 환경을 구축하는 동시에 사람들이 성공적으로 소매 비즈니스를 시작할 수 있도록 지원하는 데 있습니다.

블로그 읽기

"Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 사용한 후로 Kafka 클러스터를 설정 및 유지 관리하고 확장하기가 쉬워졌습니다. 덕분에 완전관리형 서비스로 지원되는 엔드 투 엔드 수집 파이프라인을 구현할 수 있게 되었습니다. 수요가 증가함에 따라, 손쉽게 규모를 조정하고 데이터 보강과 실시간 기계 학습을 위해 스트리밍 수집 파이프라인을 확장하여 고객 경험을 개선할 수 있다는 자신감을 가지게 되었습니다."

Mahesh Pasupuleti, Poshmark 데이터 엔지니어링 및 기계 학습 부문 VP

Vonage는 글로벌 비즈니스 클라우드 통신 부문의 선도기업으로서, 기업의 고객 및 직원 환경을 향상하여 업무 처리 방식을 개선하는 통합 통신 솔루션을 제공합니다. Vonage는 다양한 마이크로서비스 간의 실시간 통신을 위해 Apache Kafka를 사용합니다.

“Vonage는 Amazon MSK를 활용한 덕분에 유지 관리에 따르는 업무 부담을 줄이는 동시에 기업이 더 높은 생산성을 유지하면서 협업하고 고객의 참여도를 더 효과적으로 높일 수 있도록 하는 마이크로서비스 기반 플랫폼을 구축할 수 있게 되었습니다. 이제 새로운 Kafka 클러스터를 더욱 신속하게 설정하고, 수요가 증가하면 이러한 클러스터를 확장할 수 있습니다. Amazon MSK를 사용하면서 설정 및 유지 관리와 관련된 복잡성이 사라져, 가장 중요한 일인 고객을 위한 새롭고 혁신적인 기능을 구축하는 데 집중할 수 있게 되었습니다.”

Venkatesh Ennala, Vonage 소프트웨어 엔지니어

Secureworks®(NASDAQ: SCWX)는 기술 중심의 사이버 보안 부문 선도기업으로서, 디지털 방식으로 연결된 세상에서 조직을 보호합니다.

"Secureworks는 보안 분석 애플리케이션을 개발하고 출시할 때, 기간을 단축하고 인프라 및 관리 부담을 줄이기 위해 Amazon MSK 서비스를 선택했습니다. 덕분에 혁신과 우리의 고유한 차별화 요인에 집중하여 고객을 사이버 위협으로부터 손쉽게 보호할 수 있었습니다."

Wendy Thomas, Secureworks 비즈니스 및 제품 전략 부문 수석 부사장

Compass는 부동산 구매 및 판매에 관련된 전체 워크플로를 지원하는 강력한 엔드 투 엔드 플랫폼을 갖춘 부동산 기술 기업입니다. Compass는 중개사들이 국가 전체의 수백 개에 이르는 정확한 최신 부동산 원본 데이터에 신속하게 액세스할 수 있도록 하기 위해 Apache Kafka를 사용합니다.

"스트리밍 기술은 우리 비즈니스에서 중요한 비중을 차지하지만, 이 기술을 관리하려면 소프트웨어 개발자들의 상당한 노력이 요구됩니다. 하지만 Amazon MSK를 활용한 덕분에 이러한 고된 노력을 상당 부분 덜어낼 수 있게 되었습니다. Amazon MSK를 사용함에 따라 더 이상 데이터 내구성, 클러스터 가용성, 확장성을 확보하기 위해 노력할 필요가 없으며, 이제는 애플리케이션 구축에만 집중할 수 있게 되었습니다. 또한 우리 팀은 Amazon MSK를 통해 Kafka의 운영 및 유지 관리 부담에서 벗어나게 되었으며, 클러스터가 완전히 관리됨에 따라 가동 중지 시간도 줄어들었습니다."

Joseph Sirosh, Compass CTO

ZipRecruiter는 업계를 선도하는 온라인 구인/구직 마켓플레이스로서, AI 기반 매칭 기술을 통해 수백만 개의 기업과 구직자를 활발하게 연결합니다.

"ZipRecruiter는 이벤트 로깅 파이프라인을 위해 Apache Kafka를 사용합니다. 이러한 파이프라인은 ZipRecruiter 구인/구직 마켓플레이스에서 매일 발생하는 60억 건이 넘는 이벤트를 수집 및 저장하고 지속적으로 처리하는 핵심적인 인프라 구성 요소입니다. 우리는 이러한 핵심적인 인프라를 더 쉽게 관리 및 실행하고 유지 관리하기 위해 Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 선택했습니다. Amazon MSK를 도입한 덕분에 Apache Kafka와 관련된 관리 부담이 대폭 줄어들어 Apache Kafka를 주기적으로 관리하던 엔지니어들이 구직자와 채용 관리자가 원하는 상대를 더 쉽게 만날 수 있도록 제품을 혁신하는 데 집중할 수 있게 되었습니다."

Craig Ogg, ZipRecruiter CTO

디지털 상거래 활성화 – Delhivery의 목표는 인도 최대 규모이자 가장 수익성이 뛰어난 디지털 상거래 기업이 되는 것입니다. Delhivery는 고객의 온라인 물류 작업에 신속성과 접근성, 그리고 강력한 맞춤형 기술 도구를 제공합니다.

“Delhivery는 고객의 퍼스트, 미드, 라스트 마일 작업의 메타데이터를 수집 및 저장하고 논리적으로 검색하는 파이프라인의 핵심 구성 요소로 Apache Kafka를 사용합니다. 물류 작업이 확장됨에 따라 Apache Kafka 클러스터 내에서 인프라의 복잡성을 관리하는 데 상당한 노력이 소요되었습니다. Amazon MSK를 활용하면서 인프라 관련 부담이 줄어들었을 뿐 아니라, 좀 더 안전하고 안정적인 방식으로 비즈니스상 중요한 메타데이터 파이프라인의 높은 처리량과 성능을 유지하게 되었습니다.”

Kapil Bharati, Delhivery CTO | Akashdeep Verma, Delhivery 기술 아키텍트

Vortexa는 해상 원유 공급량의 변화를 실시간으로 분석하여 에너지 시장 관련자들이 더 정확하고 충분한 정보를 바탕으로 거래 및 배송과 관련된 의사 결정을 내리고 경쟁업체보다 먼저 기회를 포착하도록 지원합니다.

"Vortexa는 Apache Kafka를 통해 기계 학습 모델을 신규 및 기록 데이터 스트림에 대규모로 적용하고, 실시간 시장 예측 결과를 분석 플랫폼을 통해 고객에게 즉시 제공합니다. Amazon MSK는 Vortexa의 운영에 있어 중추적인 역할을 하는 기술로서, Lenses.io와 함께 활용한 덕분에 복잡하고 취약한 Apache Kafka 인프라를 관리하고 안정화하는 데 드는 상당한 노력을 덜어내고, 고객에게 제공하는 가치에 직접 영향을 미치는 시장 관련 인사이트와 분석의 품질을 높이는 데 집중할 수 있게 되었습니다. 이제 대규모 애플리케이션을 자신 있게 수시로 업데이트하고, 복잡한 Kafka 스트림 토폴로지를 손쉽게 실행하며, 인프라 대신 애플리케이션을 디버깅할 수 있습니다. 우리의 수익과 시장 점유율은 시장에 정확한 데이터를 제공하는 속도에 직접 영향을 받는데, Amazon MSK는 이러한 요구를 충족하기 위한 핵심 요소입니다.”

Maksym Schipka, Vortexa CTO

Tempus Ex Machina는 스포츠 및 엔터테인먼트 산업을 혁신하는 최첨단 기술 회사입니다. 스포츠, 비디오 및 데이터에 혁신 기술을 접목하고 접근성을 개선하는 Tempus Ex는 Amazon Web Services(AWS)를 기반으로 기술을 구축하여 라이브 이벤트와 관련된 새로운 대화형 경험을 쉽게 만들 수 있도록 합니다. Tempus Ex는 Apache Kafka를 사용하여
전 세계의 경기장과 행사장에서 열리는 실시간 스포츠 이벤트에 대한 대량의 이벤트 데이터를 스트리밍합니다.  

“다양한 AWS 서비스를 사용하여 라이브 스포츠의 대량 데이터를 스트리밍하고 처리하기 때문에 인프라의 많은 부분은 경기가 있는 날에는 사용률이 매우 높고 다른 날에는 전혀 사용되지 않습니다. Amazon Managed Streamingfor Apache Kafka(Amazon MSK) Serverless를 사용하기 전에는 게임이 진행되는 동안 효율적으로 스케일 업하고 스케일 다운하려면 여러 부분을 이동해야 하고 운영 오버헤드가 추가되었으며 용량이 과다 프로비저닝되는 경우가 많았습니다. Amazon MSK Serverless는 규모 조정 문제를 Amazon에 맡기는 데 도움이 되었고 그 덕에 엔지니어링 시간을 다른 작업에 자유롭게 사용할 수 있게 되었습니다. 월 AWS 요금에서 수만 USD가 즉시 절감되기 시작했고 용량 계획 및 규모 조정 메커니즘을 최적화하는 데 쓰던 귀중한 엔지니어링 시간을 다른 작업에 재분배할 수 있었습니다.”

Chris Brown, Tempus Ex CTO