Bazaarvoice reduz os custos de inferência de machine learning em 82% usando a Inferência Sem Servidor do Amazon SageMaker

Sediada em Austin, Texas, e com escritórios em todo o mundo, a Bazaarvoice usa o ML para automatizar a moderação de conteúdo para marcas e varejistas. A empresa coleta, distribui e modera avaliações, conteúdo social, fotos e vídeos, que os clientes podem usar para aprimorar páginas de produtos e impulsionar as vendas. A Bazaarvoice também usa o ML para expandir esse conteúdo com informações semânticas para ajudar os clientes a categorizar o conteúdo e obter insights.

A Bazaarvoice queria melhorar a escalabilidade, velocidade e eficiência, mas estava enfrentando desafios com a solução de ML mais antiga e mais lenta. Por exemplo, a cada vez que a empresa precisava integrar um novo cliente ou treinar novos modelos, precisava editar manualmente vários arquivos de modelo, carregá-los e esperar que o sistema registrasse a alteração. O processo demorava cerca de 20 minutos e era propenso a erros. Além disso, a arquitetura não era projetada para um suporte eficiente à escala crescente da empresa: cada máquina que suportava os quase 1.600 modelos precisava de 1 TB de RAM. “O custo era bastante alto. Como a arquitetura era um monólito, ela não podia ser escalada automaticamente, o que era uma das nossas principais metas”, relata Lou Kratz, diretor engenheiro de pesquisa da Bazaarvoice. A agilidade também era essencial para apoiar o crescente número de clientes da Bazaarvoice e experimentar os modelos de ML. “Queríamos aumentar o número de modelos em produção em 10 vezes, sem ultrapassar os limites da memória”, diz Kratz.

A Bazaarvoice considerou criar a própria solução de hospedagem sem servidor, mas esse projeto teria sido caro e trabalhoso. Em vez disso, adotou a Inferência Sem Servidor do Amazon SageMaker — uma opção de inferência criada especificamente para que as empresas possam implantar e escalar modelos de ML — para reduzir a carga operacional das equipes. “O projeto foi o início da unificação da implantação do nosso modelo”, relata Edgar Trujillo, engenheiro sênior de ML da Bazaarvoice. A empresa começou a enviar tráfego para o novo sistema em dezembro de 2021. Em fevereiro de 2022, já estava lidando com todo o tráfego de produção.

O uso da Inferência Sem Servidor simplificou para a Bazaarvoice a implantação de um modelo e sua movimentação para um endpoint dedicado se o modelo tivesse alto tráfego. Como resultado, a empresa melhorou o throughput e reduziu os custos. A Bazaarvoice economizou 82% nos custos de inferência de ML ao migrar todos os modelos de 12.000 clientes para a Inferência Sem Servidor. A Bazaarvoice analisa e expande milhões de conteúdos por mês, o que resulta em dezenas de milhões de chamadas mensais para o SageMaker, ou cerca de 30 chamadas de inferência por segundo. Porém, a maioria de seus modelos de ML é chamada pelos clientes apenas uma vez a cada poucos minutos, então não faz sentido para a Bazaarvoice alocar recursos dedicados. “Precisávamos da flexibilidade de alternar entre hosts dedicados para os modelos grandes e caros e opções de baixo custo para os modelos usados com menos frequência”, relata Kratz. Com a Inferência Sem Servidor, a empresa pode aumentar ou diminuir a escala sem interrupções para atender à demanda, aumentando a eficiência e economizando custos. “A grande vitória para nós é que não precisamos gerenciar servidores nem pagar pelo tempo de computação que não estamos usando”, relata Kratz. “Podemos acompanhar todo o conteúdo de entrada para que o cliente o veja moderado e expandido em tempo hábil.”

Como a Bazaarvoice entrega conteúdo mais rapidamente, os clientes podem exibir esse conteúdo muito mais cedo para os novos usuários finais. Com o uso do SageMaker, isso leva apenas 5 minutos. “O envio dos dados de novos clientes para um modelo em andamento costumava levar de 15 a 20 minutos”, relata Kratz. “Agora, ele acontece imediatamente.” A implantação de um modelo totalmente novo leva apenas 5 minutos, o que antes levava de 20 a 30. Com a AWS, a Bazaarvoice observou um aumento no throughput da entrega de modelos. A empresa pode criar um modelo, enviá-lo e executá-lo na Inferência Sem Servidor para avaliar o desempenho antes de enviar qualquer conteúdo para ele, reduzindo os riscos do uso do conteúdo ao vivo. Não é preciso reimplantar quando chegar a hora de enviar o conteúdo para o modelo, pois o modelo já está em execução no SageMaker. Em vez disso, a empresa pode implantar novos modelos assim que a validação for concluída. “O uso do Amazon SageMaker melhorou muito nossa capacidade de experimentar e colocar novos modelos em produção de maneira rápida e econômica”, relata Dave Anderson, pesquisador técnico da Bazaarvoice. “Temos a flexibilidade de impulsionar nossa proposta de valor. Isso é empolgante.” A empresa ajudou os cientistas de dados a se moverem mais rapidamente e agregou mais valor aos clientes.

Quando a Bazaarvoice insere conteúdo em um dos modelos de ML, o modelo gera um valor de confiança e o usa para decidir sobre o conteúdo. Na arquitetura anterior, a Bazaarvoice precisava enviar um novo modelo sempre que quisesse mudar a lógica de decisão. A Bazaarvoice começou a usar o Amazon Elastic Container Service (Amazon ECS) — um serviço de orquestração de contêiner totalmente gerenciado que facilita para as empresas implantar, gerenciar e escalar aplicações em contêineres — para lidar com a lógica de decisão fora do modelo de ML. “Separar a lógica de decisão foi extremamente benéfico, pois a equipe de operações de conteúdo agora obtém os resultados e toma decisões de modo praticamente instantâneo”, diz Kratz. “Eles não precisam enviar um novo modelo e esperar que ele seja implantado e atualizado.”

A Bazaarvoice conseguiu uma economia significativa de custos. Além disso, aprimorou a experiência dos desenvolvimentos de ML para a equipe, bem como o que é oferecido aos clientes. A empresa planeja oferecer ainda mais benefícios aos clientes usando a API de Inferências Sem Servidor do SageMaker para possibilitar o acesso rápido. “O ML está se tornando a norma nesse setor. É impossível competir sem ele”, relata Kratz. “Ao usar o SageMaker Serverless Inference, podemos fazer ML com eficiência em escala, lançando rapidamente vários modelos a um custo razoável e com baixa sobrecarga operacional.”