Expedia Group acelera as transações de pagamentos de fornecedores de um dia para segundos

O Expedia Group possui mais de 20 sites de reservas, como Expedia, Vrbo, Hotels.com e Orbitz, os quais viajantes de mais de 70 países acessam para reservar acomodações, voos e muito mais em mais de 80 moedas. Como a empresa tem uma plataforma global, as equipes precisam realizar os pagamentos dos consumidores e dos parceiros. Para os pagamentos de parceiros, a Expedia colabora com fornecedores, como hotéis, cruzeiros e linhas aéreas, cujas reservas são distribuídas na plataforma. Em seu modelo Expedia Collect, a Expedia recebe o dinheiro dos consumidores e, em seguida, envia o pagamento para os fornecedores. Em 2019, a Expedia processou USD 7,6 bilhões em reservas de fornecedores, 25% a mais do que no ano anterior.

Mas o crescimento da empresa começou a afetar o segmento de conciliação de contas a pagar (APRecon). Com o aumento do volume, os trabalhos passaram a demorar mais para serem realizados, o que gerou um efeito cascata de atrasos e prejudicou os usuários. O APRecon no SQL Server também exigiu uma quantidade significativa de intervenção manual, o que afetou a equipe de operações da empresa. Além disso, alguns serviços criados no .NET, uma plataforma de desenvolvimento de código aberto, conduziram ao aprisionamento tecnológico e limitaram a implantação de serviços.

A Expedia decidiu realizar a migração para uma arquitetura Java orientada por microsserviços na nuvem. “Resolvemos criar o sistema em uma arquitetura orientada por microsserviços para que pudéssemos nos adaptar facilmente com a funcionalidade que a AWS oferece”, explicou Nirupama Jagarlamudi, diretora sênior, desenvolvimento de software do Expedia Group. Após a realização de análises e comparações de custos de ofertas SQL Server e de nuvem, além de outras análises de SQL e PostgreSQL, a empresa escolheu o Amazon Aurora PostgreSQL.

A Expedia optou por realizar uma migração em fases para o Aurora PostgreSQL e planeja fazer a migração total do SQL Server para a AWS. Na fase inicial, a empresa migrou a unidade de hospedagem do sistema APRecon, que concilia as transações dos parceiros de hospedagem da Expedia, representando 80% de todo o volume do SQL Server. Os desenvolvedores do banco de dados refatoraram o esquema do SQL Server para o Aurora PostgreSQL usando uma nova ferramenta de migração de esquemas chamada Flyway. “O objetivo é manter a lógica de negócios nos serviços para que, se precisarmos recorrer a outro provedor ou serviço, seja possível fazer isso facilmente sem maiores implicações”, explicou Jagarlamudi. A migração do banco de dados, incluindo a atualização do esquema, demorou apenas cerca de duas semanas para ser desenvolvida e testada. Após refatorar o esquema, a equipe começou a migração dos componentes desenvolvidos na estrutura de software .NET para o Linux e o Spring Boot, a estrutura de código aberto baseada em Java. Agora, a Expedia tem mais de 20 microsserviços integrados à pilha do Spring Boot.

O novo sistema na AWS, chamado de Matching and Reconciliation System (MARS – Sistema de Correspondência e Conciliação), foi lançado em maio de 2020. Ele usa os serviços de código aberto da AWS que, além de unificarem a pilha de tecnologias de pagamento da Expedia, eliminam o aprisionamento tecnológico. A Expedia usa o Amazon Simple Queue Service (Amazon SQS), um serviço de enfileiramento de mensagens totalmente gerenciado, para separar e escalar microsserviços. “O Amazon SQS é uma forma simples de integrar resiliência ao processo com um recurso durável de novas tentativas”, disse Jagarlamudi. Por exemplo, o Amazon SQS funciona com o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor para processamento das solicitações de fornecedores. Assim, a Expedia garante um processamento orientado por eventos: o Amazon SQS notifica a organização dos novos arquivos de solicitações de fornecedores para que a equipe não precise recuperá-los do Amazon S3.

Agora a Expedia pode oferecer dados quase em tempo real para seus usuários, fornecedores, funcionários do departamento de business intelligence e membros da equipe de operações. Todos os usuários de pagamentos da Expedia, inclusive usuários operacionais e fornecedores externos no portal da Expedia, usam o Amazon Elasticsearch Service (Amazon ES), que permite que os usuários pesquisem, analisem e visualizem custos de reserva pendentes com eficiência. Quando as reservas são feitas, o processamento orientado por eventos oferece os dados para a equipe de operações e os fornecedores em menos de 1 segundo, com uma performance incrível de 2,6 segundos, o que levava mais de 1 dia no processamento em lotes no servidor anterior. Depois, o MARS apresenta os resultados para os usuários e a organização de business intelligence da Expedia. Os usuários acessam os dados do cluster de pesquisa, e a Expedia usa o Amazon Kinesis Data Streams, um serviço extremamente escalável e durável de transmissão, para coletar, processar e analisar dados de transmissão em tempo real de cada reserva, inclusive a data da reserva, o período da estadia, as informações do hóspede, as informações do hotel, o saldo, o histórico de acomodações e reservas atreladas. Esses atributos essenciais dos dados possibilitam que a equipe de operações da Expedia investigue problemas e ofereça suporte às consultas de fornecedores. “Nossa integração ao business intelligence é muito mais flexível e esse padrão pode permitir que outras equipes do Expedia Group aproveitem os dados para realizar suas funções na empresa”, afirma Jagarlamudi.

Em uma arquitetura orientada por microsserviços, o MARS pode aumentar a escala verticalmente para lidar com picos repentinos e inesperados de tráfego ou reduzir a escala verticalmente quando o tráfego diminui. Por exemplo, a Expedia conseguiu adaptar seu serviço de ordens de compra para liberar reservas antigas estagnadas há 15 meses, realizando 200 transações por segundo em um período de 2 semanas. Depois, ela readaptou o serviço no fim da atividade para alinhá-lo as padrões normais de tráfego. Embora a Expedia tenha custos fixos para o provisionamento, o armazenamento e o licenciamento com o SQL Server, ainda usado para a pilha herdada que não foi migrada, o Aurora elimina as taxas de licenciamento e oferece custos e uma infraestrutura flexíveis. A Expedia não precisa mais gastar dinheiro com a capacidade inutilizada dos datacenters. “No Aurora PostgreSQL, pagamos apenas pelo que usamos e ele se ajusta automaticamente à medida que nossos dados aumentam”, disse Jagarlamudi. Assim, a Expedia conseguiu se adaptar durante a pandemia de COVID-19. O sistema totalmente gerenciado da AWS também permitiu que a Expedia não precisasse dedicar tempo para manutenções e dispensasse o uso de um administrador de banco de dados interno.

Ao migrar o sistema herdado para o Aurora e usar outros produtos da AWS, a Expedia reduziu os custos do banco de dados, eliminou o aprisionamento tecnológico e realizou a escalabilidade para lidar com os picos de tráfego, ao mesmo tempo em que removeu a responsabilidade por processos manuais e gerenciamento de banco de dados de sua equipe. Ela também criou um sistema que processa reservas quase em tempo real, oferecendo uma performance veloz para os usuários e permitindo insights comerciais ágeis, como atualizações mais rápidas das atividades de pagamento para os fornecedores.