BMW Group usa data lake baseado na AWS para liberar o potencial dos dados

No entanto, a empresa precisava dimensionar seu data lake com mais facilidade para atender às crescentes demandas de partes interessadas internas e externas. Sem conseguir acessar os dados com facilidade, já que eles estavam espalhados por um sem-número de ambientes em silo, a inovação do BMW Group perdia velocidade por culpa da própria infraestrutura de TI e dos longos tempos de espera até viabilizar novas iniciativas. O BMW Group precisava desenvolver uma solução ágil o suficiente para dar suporte às necessidades de dados de todas as várias unidades de negócios internas e permitir que a empresa se movesse rapidamente para atender à variedade de casos de uso emergentes que seus clientes exigem.

O BMW Group também procurou dar aos consumidores de dados acesso em tempo real, por exemplo, à telemetria do veículo, como informações sobre velocidade, localização, temperatura, níveis de bateria e freios e status do motor. Além disso, havia o desejo de integrar análises e machine learning ao data lake, de modo a acelerar o desenvolvimento de serviços novos e inovadores. E como um pré-requisito, a solução precisava proporcionar a governança necessária para garantir conformidade com os regulamentos de privacidade e segurança.

Em resposta a esses desafios, o BMW Group decidiu reorganizar sua arquitetura e transferir o data lake on-premises para a nuvem da Amazon Web Services (AWS). O Cloud Data Hub (CDH) processa e combina dados anonimizados dos sensores instalados nos veículos e de outras fontes em toda a corporação, facilitando o acesso para as equipes que criam aplicações internas e voltadas para clientes. Por fim, a empresa descobriu que a AWS oferecia a agilidade e a flexibilidade necessárias, juntamente com o espaço necessário para oferecer suporte a usuários em todo o mundo.

Antes da migração, o data lake on-premises rígido do BMW Group não atendia às necessidades cada vez maiores de engenheiros e analistas de dados. Executando fluxos de trabalho interdependentes, o antigo data lake não conseguia lidar bem com vários inquilinos e, como consequência, as equipes de plataforma, ingestão e casos de uso do BMW Group exigiam uma coordenação complexa para trabalhar em projetos e enfrentavam gargalos organizacionais, diminuindo o ritmo.

O BMW Group recorreu a uma combinação de serviços gerenciados pela AWS, incluindo o Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose e AWS Glue para reduzir a complexidade da configuração diferenciando componentes e criar um ambiente capaz de escalar para atender às necessidades dos engenheiros de dados. Além disso, as equipes agora podem ter seu próprio processo de DevOps de ponta a ponta, dando a elas a autonomia e a agilidade necessárias para continuarem inovando. Além disso, o BMW Group implementou um portal da Web moderno que ajuda os usuários do CDH a descobrir conjuntos de dados confiáveis usando um algoritmo de pesquisa avançado e a consultar dados facilmente para gerar novos insights.

Usando os serviços da AWS, o BMW Group ingere uma quantidade gigantesca de dados a cada dia. Atualmente, milhões de veículos BMW e MINI são conectados ao CDH pelo backend de alta segurança do BMW Group, processando diariamente terabytes de dados de telemetria anônimos. A empresa usa esses dados para monitorar indicadores de integridade dos veículos, como erros de controle de verificação, no intuito de identificar possíveis problemas nas linhas dos veículos. Isso permite que o BMW Group aproveite os dados da frota ingeridos, coletados e refinados do CDH para resolver melhor os problemas, mesmo antes que eles afetem os clientes.

Para gerenciar melhor esses dados, o BMW Group introduziu a noção de “provedores de dados” e “consumidores de dados” para aumentar a autonomia e a agilidade de suas equipes de engenharia de software. Os provedores de dados ingerem e transformam dados com serviços da AWS, como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue e Amazon EMR. Os consumidores de dados podem usar serviços como o Amazon Athena, Amazon SageMaker, AWS Glue e Amazon EMR para aproveitar os dados em seus casos de uso. Provedores e consumidores usam esses serviços em suas próprias contas e só compartilham interfaces bem-definidas que podem ser controladas por uma API central, ajudando a evitar gargalos. As camadas de dados individuais são armazenadas em buckets do Amazon S3 e seus esquemas são registrados no AWS Glue Data Catalog.

Além de coletar metadados técnicos no AWS Glue Data Catalog, o BMW Group descobriu que criar um catálogo de dados legível por humanos era essencial para democratizar os dados em toda a organização. Essa ação garante um alto grau de transparência sobre quais ativos de dados são coletados no CDH e como isso é feito. A aplicação de front-end Data Portal serve como um explorador de dados para aumentar a produtividade de analistas de dados, cientistas de dados e engenheiros, exibindo claramente os recursos de dados e oferecendo um “índice de popularidade” com base nos padrões de uso de dados para mais de 500 usuários em toda a organização.

Além disso, o CDH utiliza o GraphQL via AWS AppSync para criar APIs escaláveis e universais para provedores de dados e consumidores, aumentando a flexibilidade do desenvolvimento. Ao contrário das tradicionais APIs REST, as interfaces construídas em GraphQL são adequadas para comportar exigências evolucionárias, como a representação de metadados para o catálogo de dados ou o fornecimento de dados heterogêneos coletados de veículos conectados. Os desenvolvedores têm flexibilidade para definir os parâmetros de consulta e estrutura da carga útil para obter os dados necessários a determinado caso de uso. Isso os ajuda a criar aplicativos significativamente mais rápido do que antes, pois não há mais necessidade de criar uma nova série de APIs para cada projeto com um conjunto diferente de requisitos de dados.

O data lake centralizado e baseado na AWS foi o alicerce que o BMW Group usou para desenvolver soluções de TI orientadas por dados, permitindo a escalabilidade automática e independente com uma arquitetura sem servidor. Portanto, o BMW Group pode inovar mais rápido do que com a solução on-premises anterior, que exigia gerenciamento de infraestrutura e planejamento de capacidade para cada nova iniciativa.

O BMW Group abrirá o código-fonte dos principais componentes do CDH, incluindo APIs, arquitetura e Portal de Dados. Isso também é alimentado pelo fato de o BMW Group ser um membro fundador do Gaia-X, a iniciativa europeia para estabelecer espaços de dados soberanos.

No futuro, o BMW Group continuará ampliando a escala dos recursos da plataforma CDH para acelerar ainda mais sua transformação digital e gerar valor adicional em toda a empresa, promovendo experiências inovadoras para o cliente, novos serviços de mobilidade e insights internos dos negócios. Demtröder conclui: “Nossa jornada com a AWS está só começando. Estamos ansiosos para viabilizar a estratégia de inovações futuristas.”

Para saber mais, acesse aws.amazon.com/automotive.