Clientes do Amazon MSK

Kafka tem sido um componente central da nossa plataforma de analytics de engenharia no Arm há vários anos, tanto on-premises quanto na nuvem. Desde seu comissionamento inicial, nós o executamos na arquitetura Arm, no entanto, para melhorar a confiabilidade e reduzir a sobrecarga de gerenciamento, queríamos usar o Amazon Managed Streaming for Apache Kafka (MSK).

Com o aprimoramento do MSK para oferecer suporte ao Graviton 3, podemos devolver nosso serviço de analytics a uma pilha totalmente baseada no Arm e oferecer mais desempenho a um custo menor e reduzir a pegada de carbono de nossas operações.

O Amazon MSK nos permitiu escalar sem problemas e, ao mesmo tempo, aproveitar os benefícios da confiabilidade e da segurança de nível corporativo. Ao transferir o gerenciamento do Kafka para a AWS, poderíamos manter o foco em nosso negócio principal e inovar de modo mais rápido.

Precisávamos de 10 horas para sincronizar nossos armazenamentos de metadados. Mas agora, com o uso do Amazon MSK, esse processo leva 30 minutos.

Ao migrar de nosso datacenter para a AWS, precisávamos encontrar uma maneira de reter nossos investimentos críticos de negócios no Kafka, ao mesmo tempo em que reduzíamos de modo significativo a sobrecarga da execução do Kafka por conta própria. Isso nos levou ao MSK. Mudamos uma parte significativa da infraestrutura e do gerenciamento de software do Kafka para clusters MSK que foram dimensionados para suportar mais de 40 GB/s em média de consumo de dados. Por exemplo, não precisamos mais gerenciar hardware e software para manter nossos clusters atualizados. Como resultado, podemos investir mais de nossos recursos no desenvolvimento de serviços em torno do Kafka para as equipes de nossos clientes, que é o que fazemos de melhor. Consumir o MSK nos permite focar em nossas competências essenciais, nos capacitando a lançar produtos melhores com mais rapidez e frequência.

Desde a adoção do Amazon MSK, conseguimos aumentar significativamente a eficiência de nossas equipes e reduzir o tempo gasto na manutenção de nossos clusters. À medida que nossos requisitos de dados e casos de uso aumentaram, começamos a experimentar uma sobrecarga e complexidade consideráveis no gerenciamento de nossos clusters do Kafka. O uso do Amazon MSK nos permitiu gerenciar nossos clusters com confiança, gastar menos tempo verificando a performance dos clusters, escalar com facilidade e focar mais tempo na inovação e construção de aplicações interessantes em tempo real.

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) facilitou a configuração, a manutenção e a escalabilidade de clusters do Kafka para viabilizar um pipeline de ingestão de ponta a ponta apoiado por um serviço totalmente gerenciado. Conforme nossas demandas aumentarem, nos sentiremos confiantes de que poderemos escalar com facilidade e expandir nossos pipelines de ingestão de streaming para enriquecimento de dados e machine learning em tempo real, de forma a proporcionar uma experiência aprimorada para nossos clientes.

Ao usar o Amazon MSK, a Vonage reduziu nossa sobrecarga de manutenção e criou uma plataforma baseada em microsserviços que permite que as empresas colaborem de forma mais produtiva e envolvam seus clientes com mais eficiência. Agora podemos configurar novos clusters do Kafka com mais rapidez e escalá-los à medida que nossas demandas aumentam. O Amazon MSK removeu a complexidade de instalação e manutenção para permitir que nos concentrássemos no que é mais importante: a criação de recursos inovadores para nossos clientes.

Ao desenvolver e lançar nossa aplicação de analytics de segurança, a Secureworks escolheu o serviço Amazon MSK para acelerar sua inserção no mercado e reduzir a sobrecarga de infraestrutura e gerenciamento. Isso nos permitiu focar em inovação e em nossos diferenciais únicos para ajudar a proteger nossos clientes contra ameaças cibernéticas.

A tecnologia de streaming é uma parte importante do que fazemos como empresa, mas o gerenciamento da tecnologia de streaming envolve muito trabalho pesado por parte de nossos desenvolvedores de software. O Amazon MSK nos permitiu eliminar boa parte desse trabalho pesado. Com o uso do Amazon MSK, não precisamos mais nos esforçar para garantir a durabilidade dos dados, a disponibilidade do cluster e a escalabilidade. Agora podemos nos concentrar na criação de aplicações. O Amazon MSK alivia nossa equipe quanto ao ônus em ter que operar e manter o Kafka e, ao mesmo tempo, reduzimos o tempo de inatividade, pois nossos clusters são totalmente gerenciados.

Na ZipRecruiter, usamos o Apache Kafka para nossos pipelines de registro de eventos, que são componentes essenciais de infraestrutura responsáveis por coletar, armazenar e processar continuamente mais de 6 bilhões de eventos por dia no marketplace de ofertas de trabalho ZipRecruiter. Optamos pelo Amazon Managed Streaming for Apache Kafka (Amazon MSK) para facilitar o gerenciamento, a execução e a manutenção dessa infraestrutura essencial. O Amazon MSK reduziu de modo significativo nossa sobrecarga de trabalho administrativo e de gerenciamento do Apache Kafka, o que permitiu aos nossos engenheiros, que gerenciavam o Apache Kafka de modo regular, mudar o foco para inovações de produtos a fim de facilitar a procura dos candidatos a emprego e gerentes de contratação pelo resultado ideal.

Delhivery usa o Apache Kafka como componente essencial em seu pipeline para coletar, armazenar e girar logicamente os metadados das operações do início ao fim do processo. À medida que escalamos nossas operações logísticas, um esforço significativo foi gasto no gerenciamento das complexidades da infraestrutura em nossos clusters do Apache Kafka. O Amazon MSK não apenas nos ajudou a aliviar a sobrecarga da infraestrutura, mas também a manter de uma maneira mais segura e confiável nosso alto throughput e performance nos pipelines de metadados essenciais para os negócios.

Vortexa usa o Apache Kafka para aplicar modelos de machine learning em escala a fluxos de dados novos e históricos e disponibilizar previsões de mercado em tempo real imediatamente aos seus clientes, por meio de sua plataforma de analytics. O Amazon MSK é uma tecnologia essencial para a Vortexa e, juntamente com a Lenses.io, nos permitiu mudar nossos esforços significativos de manter e estabilizar uma infraestrutura complexa e frágil do Apache Kafka para focar na qualidade das análises e dos insights de mercado, que afetam diretamente o valor gerado para nossos clientes. Agora podemos atualizar com confiança e frequência nossas aplicações em escala, executar topologias complexas de fluxos do Kafka com facilidade e depurar aplicações em vez de infraestrutura. Nossa receita e participação de mercado são diretamente impactadas pela velocidade com a qual fornecemos dados precisos ao mercado, e o Amazon MSK é um facilitador essencial para isso.

Usamos vários serviços da AWS para transmitir e processar grandes quantidades de dados para esportes ao vivo. Portanto, muitas partes de nossa infraestrutura têm uma utilização muito alta em dias de jogos e zero em outros dias. Antes de usar o Amazon Managed Streaming for Apache Kafka (Amazon MSK) Sem Servidor, as partes móveis e a sobrecarga operacional necessárias para aumentar e diminuir a escala com eficiência em dias de jogo geravam um grande impacto, e a capacidade geralmente era superprovisionada. O Amazon MSK Sem Servidor nos ajudou a transferir as preocupações de escalabilidade para a Amazon, o que nos possibilita usar nosso tempo de engenharia em outras coisas. Começamos a economizar de modo imediato dezenas de milhares de dólares em nossa fatura mensal da AWS e conseguimos realocar nosso valioso tempo de engenharia, desde o planejamento da capacidade e a otimização dos mecanismos de escalabilidade até a realização de outras tarefas.