Amazon Robotics nutzt Amazon SageMaker und AWS Inferentia, um ML-Inferenzierung in großem Maßstab zu ermöglichen

Die Software und Maschinen von Amazon Robotics werden zur Automatisierung der Inventarisierung in den Logistikzentren von Amazon eingesetzt. Das System des Unternehmens besteht aus drei physischen Hauptkomponenten: mobilen Regaleinheiten, Robotern und Mitarbeiterarbeitsplätzen. Die Roboter bringen die mobilen Regaleinheiten zu den Stationen, wo Mitarbeiter Inventar hineinlegen (verstauen) oder herausnehmen (entnehmen). „Unsere bestehenden Workflows für das Verstauen und Entnehmen führen manchmal zu einem Engpass für die nachgelagerte Verarbeitung“, erklärt Eli Gallaudet, Senior Software Manager bei Amazon Robotics. „2017 haben wir eine Initiative gestartet, um herauszufinden, wie wir einige dieser Workflows vereinfachen können.“

Amazon Robotics hat das Intent Detection System entwickelt, um das zeitaufwändige Scannen von Behältern zu reduzieren. Das Intent Detection System ist ein auf Deep Learning basierendes Computer-Vision-System, das mit Millionen von Videobeispielen von Verstauungsaktionen trainiert wurde. Das Unternehmen wollte das System so trainieren, dass es automatisch erkennt, wo die Mitarbeiter ihre Waren ablegen. Amazon Robotics wusste, dass für die Bereitstellung der Deep-Learning-Modelle in den Logistikzentren von Amazon Cloud-Computing erforderlich sein würde, und wandte sich deshalb an AWS. Das Team stellte seine Modelle auf Docker-Containern bereit und hostete sie auf Amazon Elastic Container Service (Amazon ECS), einem vollständig verwalteten Container-Orchestrierungsservice.

Sobald das Team genügend Videobeispiele von Verstauungsaktionen gesammelt hatte, experimentierte es mit der Anwendung von Modellarchitekturen auf den großen kommentierten Videodatensatz. Nach mehreren Durchläufen konnte das Team damit beginnen, den Prozess von den bereitgestellten Modellen automatisieren zu lassen.

Obwohl Amazon Robotics auf reichlich Computing-Ressourcen bei AWS zurückgreifen konnte, musste das Unternehmen das Hosting selbst übernehmen. Als AWS bei der AWS re:Invent 2017 die Veröffentlichung von Amazon SageMaker verkündete, implementierte Amazon Robotics den Service umgehend. So musste das Unternehmen keine eigene teure Hosting-Lösung entwickeln. Amazon Robotics war das erste Unternehmen, das Amazon SageMaker in großem Umfang nutzte, und ist nach wie vor eine der größten Bereitstellungen (Stand Januar 2021).

Zu Beginn verwendete das Team Amazon SageMaker vor allem zum Hosten der Modelle. Amazon Robotics passte die Nutzung des Services je nach Bedarf an und verwendete zunächst eine hybride Architektur, bei der einige Algorithmen On-Premises und einige in der Cloud ausgeführt wurden. „Wir haben eine Reihe von Kernfunktionen entwickelt, die es uns ermöglichten, das Intent Detection System bereitzustellen“, sagt Tim Stallman, Senior Software Manager bei Amazon Robotics. „Und als die Funktionen von Amazon SageMaker online gingen, haben wir sie nach und nach implementiert.“ Das Team verwendete beispielsweise Amazon SageMaker Experiments – eine Funktion, mit der das Team ML-Experimente und Modellversionen organisieren, verfolgen, vergleichen und bewerten konnte.

Amazon Robotics nutzte außerdem die automatische Skalierung von Amazon SageMaker. „Amazon SageMaker verwaltet nicht nur die Hosts, die wir für Inferenzen verwenden“, erklärt Gallaudet. „Der Service fügt automatisch Hosts hinzu oder entfernt sie je nach Workload.“ Da das Unternehmen keine eigene Flotte von über 500 GPUs anschaffen und verwalten musste, konnte es fast 50 % seiner Inferenzkosten einsparen.

Amazon Robotics erzielte beträchtliche Erfolge. Das Unternehmen setzte Amazon SageMaker ein, um den Verwaltungsaufwand zu reduzieren und das Verhältnis von Wissenschaftlern und Softwareentwicklern auszugleichen. Amazon SageMaker ermöglichte auch die horizontale Skalierung des Systems während der Einführung im gesamten Netzwerk der Logistikzentren von Amazon – und das Team ist überzeugt, dass Amazon SageMaker die Spitzenanforderungen an Inferenzen erfüllen kann.

Die Lösung stützt sich auf Amazon Elastic Compute Cloud (Amazon EC2). Der Service bietet sichere, anpassbare Rechenkapazität in der Cloud und ermöglicht Benutzern, neue Host-Typen schnell zu migrieren, sobald sie verfügbar sind. Das Amazon-Robotics-Team konnte seine Inferenzkosten um 20 % senken, indem es von Amazon-EC2-P2-Instances auf Amazon EC2-G4-Instances migrierte. Das Amazon-Robotics-Team benutzt jetzt AWS Inferentia. Das Team kann jetzt die Inferenzkosten über G4-Instances um weitere 35 % senken (über 50 % Senkung von P2-Instances) und Inferentia hat einen 20 % höheren Durchsatz erzielt, und dadurch konnten mehr Pakete pro Tag gescannt werden, ohne mehr Ressourcen zu benötigen. „Unser System nutzt mehr als 1000 SageMaker-Hosts in 2022 und AWS Inferentia hilft uns dabei, dem schnell zunehmenden Verkehr bei höherem Durchsatz zu dienen, ohne unsere ML-Modelle erneut trainieren zu müssen.“ sagt Pei Wang, ein Software-Ingenieur bei Amazon Robotics.

Die Lösung mit Amazon SageMaker wuchs nach der ersten Bereitstellung rasant an. Das Amazon-Robotics-Team begann mit der Implementierung in kleinem Umfang in einem Logistikzentrum in Wisconsin und weitete die Lösung auf weitere Dutzend aus. Als die Lösung in immer größerem Umfang eingesetzt wurde, skalierte Amazon SageMaker schnell und nahtlos mit ihr. „Wir gehen davon aus, dass wir unser Volumen 2022 fast verdoppeln werden“, sagt Gallaudet.

Das Team sieht viele weitere Möglichkeiten, in AWS zu experimentieren, einschließlich der Ausführung von Modellen am Edge mit Amazon SageMaker Edge Manager. Damit lassen sich ML-Modelle effizient über eine Flotte von Smart-Geräten verwalten und überwachen. Amazon Robotics plant außerdem, Modelle zu entwickeln, die die Paketverfolgung weiter automatisieren und bei der automatischen Bewertung von Paketschäden helfen können.

Durch das Experimentieren mit hochmodernen Technologien steigert Amazon Robotics weiterhin die Effizienz in den Logistikzentren und verbessert das Kundenerlebnis bei Amazon. „Viele der Techniken, die wir durch unsere Arbeit mit dem Intent Detection System gelernt haben, haben die schnelle Umsetzung dieser Projekte ermöglicht“, erklärt Stallman.