Bazaarvoice reduce los costos de inferencia del machine learning en un 82 % con la inferencia sin servidor de Amazon SageMaker

Con sede en Austin (Texas) y oficinas en todo el mundo, Bazaarvoice utiliza el ML para automatizar la moderación de contenido para empresas minoristas y marcas. La empresa recopila, agrupa y modera reseñas, contenido de redes sociales, fotos y videos, que los clientes pueden utilizar para mejorar sus páginas de productos e impulsar las ventas. Bazaarvoice también usa el ML para aumentar este contenido con información semántica para ayudar a los clientes a categorizar el contenido y obtener información.

Bazaarvoice quería mejorar su escalabilidad, velocidad y eficiencia, pero su solución de ML más antigua y lenta le presentaba desafíos. Por ejemplo, cada vez que la empresa necesitaba incorporar a un nuevo cliente o entrenar nuevos modelos, tenía que editar de forma manual numerosos archivos de modelos, cargarlos y esperar a que el sistema registrara el cambio. El proceso tardaba unos 20 minutos y era propenso a errores. Además, la arquitectura no se había diseñado para soportar de manera eficiente la creciente magnitud de la empresa: cada máquina que admitía sus casi 1600 modelos necesitaba 1 TB de memoria RAM. “El costo era bastante alto y, dado que se creó como arquitectura monolítica, no podía escalarse de forma automática, lo cual era uno de nuestros objetivos clave”, afirma Lou Kratz, ingeniero principal de investigación en Bazaarvoice. La agilidad también fue crucial para respaldar el creciente número de clientes de Bazaarvoice y para experimentar con modelos de ML. “Queríamos ser capaces de aumentar 10 veces la cantidad de modelos en producción sin agotar los límites de la memoria”, afirma Kratz.

Bazaarvoice consideró crear su propia solución host sin servidor, pero un proyecto de este tipo habría sido caro y laborioso. En su lugar, adoptó la inferencia sin servidor de Amazon SageMaker, una opción de inferencia específica que facilita a las empresas la implementación y el escalado de modelos de ML, para reducir la carga operativa de sus equipos. “Este proyecto fue el comienzo de la unificación de la implementación de nuestro modelo”, afirma Edgar Trujillo, ingeniero sénior de ML en Bazaarvoice. La empresa comenzó a enviar tráfico a su nuevo sistema en diciembre de 2021 y, en febrero de 2022, ya gestionaba todo el tráfico de producción.

El uso de la inferencia sin servidor facilitó a Bazaarvoice la implementación de un modelo y su traslado a un punto de enlace dedicado si el modelo experimentaba un tráfico elevado. Como resultado, la empresa mejoró su rendimiento y, al mismo tiempo, redujo los costos. Ahorró un 82 % en sus costos de inferencia de ML al migrar todos los modelos de sus 12 000 clientes a la inferencia sin servidor. Bazaarvoice analiza y aumenta millones de contenidos al mes, lo que se traduce en decenas de millones de llamadas mensuales a SageMaker o unas 30 llamadas de inferencia por segundo. Sin embargo, los clientes llaman a la mayoría de sus modelos de ML solo una vez cada pocos minutos, por lo que no tiene sentido que Bazaarvoice asigne recursos dedicados. “Necesitábamos la flexibilidad necesaria para cambiar entre hosts dedicados para los modelos grandes y caros y opciones económicas para los modelos que se utilizan con menos frecuencia”, comenta Kratz. Con la inferencia sin servidor, la empresa puede escalar hacia arriba o hacia abajo sin problemas para adaptarse a la demanda, lo que aumenta la eficiencia y produce un ahorro en los costos. “La gran ventaja para nosotros es que no tenemos que administrar servidores ni pagar por el tiempo de computación que no utilizamos”, explica Kratz. “Y podemos mantenernos al día con todo el contenido que ingresa para que el cliente lo vea moderado y aumentado en el momento adecuado”.

Como Bazaarvoice ofrece contenido con mayor rapidez, sus clientes pueden mostrar ese contenido mucho antes a los nuevos usuarios finales. Con SageMaker, solo lleva 5 minutos. “Enviar datos de clientes nuevos a un modelo existente solía tardar entre 15 y 20 minutos”, afirma Kratz. “Ahora, sucede de inmediato”. Además, la implementación de un modelo nuevo solo lleva 5 minutos en lugar de tomar entre 20 y 30 minutos. En AWS, Bazaarvoice registró un aumento en el rendimiento de la entrega de modelos. La empresa puede crear un modelo, distribuirlo y ejecutarlo en la inferencia sin servidor para evaluar su rendimiento antes de enviarle cualquier contenido, lo que reduce los riesgos de usar contenido en vivo. Además, no es necesario volver a implementar el modelo cuando llegue el momento de enviarle contenido, debido a que este ya se ejecuta en SageMaker. En su lugar, puede implementar nuevos modelos tan pronto como se complete la validación. “El uso de Amazon SageMaker mejoró de forma considerable nuestra capacidad de experimentar y poner en producción nuevos modelos de forma rápida y económica”, afirma Dave Anderson, colaborador técnico en Bazaarvoice. “Tenemos la flexibilidad necesaria para impulsar nuestra propuesta de valor y eso es emocionante”. La empresa ayudó a sus científicos de datos a avanzar más rápido y agregó más valor para los clientes.

Cuando Bazaarvoice introduce contenido en uno de sus modelos de ML, el modelo genera un valor de confianza y lo utiliza para decidir sobre el contenido. En la arquitectura anterior de la empresa, Bazaarvoice tenía que lanzar un nuevo modelo cada vez que quería cambiar la lógica de decisiones. Bazaarvoice comenzó a usar Amazon Elastic Container Service (Amazon ECS), un servicio de orquestación de contenedores administrado por completo que facilita a las empresas la implementación, la administración y el escalado de aplicaciones en contenedores, para gestionar la lógica de decisiones fuera del modelo de ML. “Separar la lógica de decisiones fue muy beneficioso porque el equipo de operaciones de contenido ahora puede obtener los resultados y tomar decisiones de forma casi instantánea”, comenta Kratz. “No tienen que lanzar un modelo nuevo y esperar a que se implemente y se actualice”.

Bazaarvoice generó importantes ahorros de costos al tiempo que mejoró la experiencia de desarrollo del ML para su equipo y potenció lo que ofrece a sus clientes. La empresa planea ofrecer aún más beneficios a los clientes mediante el uso de la API de las inferencias sin servidor de SageMaker para facilitar el acceso rápido. “El ML se convierte en la norma en este sector; no se puede competir sin él”, continúa Kratz. “Al usar la inferencia sin servidor de SageMaker, podemos hacer ML de manera eficiente a escala, obteniendo rápidamente una gran cantidad de modelos a un costo razonable y con una baja sobrecarga operativa”.