AWS IoT Greengrass – ML-Inferenz

Bereitstellen von ML-Modellen, die für die Ausführung auf IoT-Greengrass-Geräten optimiert sind

Warum IoT-Greengrass-ML-Inferenz?

AWS IoT Greengrass vereinfacht die Ausführung lokale Durchführung von Machine-Learning-Inferenzen (ML) auf Geräten mithilfe von Modellen, die in der Cloud erstellt, trainiert und optimiert werden. Dabei bietet Ihnen AWS IoT Greengrass die Wahl zwischen Machine-Learning-Modellen, die in Amazon SageMaker trainiert sind oder einem eigenen bereits trainierten Modell aus Amazon S3.

Machine Learning nutzt statistische Algorithmen, die aus vorhandenen Daten lernen – dieser Vorgang wird Training genannt –, um Entscheidungen hinsichtlich neuer Daten zu treffen – dies ist der Vorgang der Inferenz. Während des Trainings werden Muster und Beziehungen in den Daten ermittelt, aus denen das Modell entsteht. Mit diesem Modell ist es einem System möglich, intelligente Entscheidungen zu ihm bislang völlig unbekannten Daten zu treffen. Durch Optimierung wird das Modell komprimiert, sodass es schneller ausgeführt werden kann. Erstellung und Training von Machine-Learning-Modellen erfordern umfangreiche Datenverarbeitungsressourcen, sodass dieser Prozess naturgemäß am besten in der Cloud durchgeführt wird. Dagegen erfordert Inferenz eine weitaus geringere Rechenleistung und wird häufig in Echtzeit durchgeführt, wenn neue Daten verfügbar sind. Inferenzergebnisse sollten mit sehr geringer Latenz zur Verfügung stehen, damit Ihre IoT-Anwendungen schnell auf lokale Ereignisse reagieren können.

Mit AWS IoT Greengrass erhalten Sie das Beste aus beiden Welten. Deswegen verwenden Sie in der Cloud entwickelte, trainierte und optimierte Machine-Learning-Modelle, die Sie lokal auf Geräten ausführen. So können Sie beispielsweise in SageMaker ein prädiktives Modell für die Szenerie-Erkennung erstellen, es für die Ausführung auf jeder Kamera optimieren und es dann bereitstellen, um verdächtige Aktivitäten vorherzusehen und eine entsprechende Warnung zu senden. Daten, die aus der in AWS IoT Greengrass ausgeführten Inferenz erfasst werden, können zurück an SageMaker gesendet werden, wo sie getaggt und zur Verbesserung der Qualität der Machine-Learning-Modelle verwendet werden können.

Vorteile

Flexibel

AWS IoT Greengrass beinhaltet vorkonfigurierte Amazon SageMaker Neo Deep Learning Runtime (DLR)-, Apache MXNet-, Tensorflow- und Chainer-Pakete für Geräte mit Intel Atom, NVIDIA Jetson TX2 und Raspberry Pi. Eine vollständige Neuentwicklung und Konfiguration des Machine Learning-Frameworks für Ihre Geräte ist daher nicht nötig. Zudem unterstützt AWS IoT Greengrass weitere gängige Frameworks wie PyTorch und Caffe2. Wenn Sie Amazon SageMaker Neo mit AWS IoT Greengrass verwenden, werden die in diesen Frameworks geschriebenen Modelle in portierbaren Code konvertiert, der auf jedem AWS IoT Greengrass-Gerät ausgeführt werden kann, das Neo-Laufzeit miteinschließt. Damit entfällt für Sie jegliche weitere Optimierung am Edge.

Modelle in wenigen Schritten auf Ihren verbundenen Geräten bereitstellen

Mit AWS IoT Greengrass können Sie Ihr Machine-Learning-Modell aus der Cloud ganz einfach auf Ihren Geräten bereitstellen. Mit nur wenigen Klicks in der AWS-IoT-Greengrass-Konsole können Sie trainierte Modelle in Amazon SageMaker oder Amazon S3 finden, das gewünschte Modell auswählen und es auf den Zielgeräten bereitstellen. Ihre Modelle werden auf dem verbundenen Gerät Ihrer Wahl bereitgestellt.

Inferenzleistung steigern

Dank Integration mit Amazon SageMaker und dem Neo Deep Learning Compiler können Sie Machine-Learning-Modelle mit einer optimierten Runtime bereitstellen, die im Vergleich zur manuellen Optimierung oder zu Machine Learning-Frameworks mit bis zur zweifachen Geschwindigkeit läuft. Durch vorkonfigurierte Runtimes für gängige Machine-Learning-Frameworks und Zielgeräte wie dem Nvidia Jetson TX2-Board bietet Ihnen AWS IoT Greengrass zudem Zugriff auf Hardwarebeschleuniger wie GPUs auf Ihren Geräten.

Ausführung von Inferenz auf mehreren Geräten

Durch Integration mit Amazon SageMaker und dem Neo-Compiler werden die Modelle bei weniger als einem Zehntel an Arbeitsspeicherbedarf optimiert, sodass die Modelle auch auf Geräten mit eingeschränkten Ressourcen wie Heimüberwachungskameras und Aktuatoren ausgeführt werden können.

Einfacheres Ausführen von Inferenzen auf verbundenen Geräten

Durch die lokale Ausführung von Inferenz auf Geräten mit AWS IoT Greengrass reduzieren Sie Latenz und Kosten für das Senden von Gerätedaten an die Cloud, um eine Vorhersage zu treffen. Anstatt alle Daten für die Durchführung der Machine Learning-Inferenz an die Cloud zu senden, führen Sie die Inferenz direkt auf dem Gerät aus.

Entwicklung präziserer Modelle

Mit AWS IoT Greengrass können Sie Inferenz ausführen und die Ergebnisse erfassen, Ausreißer ermitteln und die Daten zurück an die Cloud und Amazon SageMaker senden, wo es neu klassifiziert, getaggt und für das Modell-Retraining benutzt werden kann, um die Genauigkeit Ihres Machine-Learning-Modells zu verbessern.

Anwendungsfälle

Vorausschauende industrielle Wartung

Da der Preisdruck auf Hersteller immer weiter steigt, sind diese auf der Suche nach neuen Möglichkeiten, um die Effizienz der Betriebsabläufe in den Fabrikhallen zu steigern. Verzögerungen bei der Erkennung von Problemen bei der Fließbandfertigung können Zeit- als auch Ressourcenverluste verursachen. AWS IoT Greengrass kann Sie bei der frühzeitigen Erkennung von fehlerhaften Geräten und Problemen in der Fabrikhalle unterstützen. IoT Greengrass-fähige industrielle Gateways können Sensordaten (z. B. Vibrationen, Geräuschpegel) kontinuierlich überwachen, Abweichungen vorhersagen und erforderliche Maßnahmen ergreifen, wie etwa Warnmeldungen senden oder Geräte stoppen, um Verluste zu minimieren.

Präzisionslandwirtschaft

Die Agrarindustrie steht momentan vor zwei großen Umbrüchen. Einerseits wächst die Weltbevölkerung immer weiter, was dazu führt, dass die Nachfrage nach Nahrungsmitteln höher ist als das Angebot. Andererseits verursacht der Klimawandel unvorhersagbare Wetterverhältnisse und beeinflusst den Ertrag der Ernte. AWS IoT Greengrass kann dazu beitragen, landwirtschaftliche Verfahren umzugestalten und Kunden einen neuen Mehrwert zu bieten. AWS-IoT-Greengrass-fähige Kameras, die in Gewächshäusern und Landwirtschaftsbetrieben installiert sind, können Aufnahmen von Pflanzen und Anbaukulturen sowie Daten von Sensoren in der Erde verarbeiten, um nicht nur Anomalien in der Umgebung, wie etwa Veränderungen der Temperatur, Feuchtigkeit und Nährstoffwerte, zu erkennen, sondern auch um Warnmeldungen auszulösen.

Sicherheit

Hersteller von Überwachungskameras suchen neue Möglichkeiten, um Geräte intelligenter zu machen und ihre Erkennungsfunktionen zu automatisieren. AWS IoT Greengrass kann zur Verbesserung der Funktionen von Überwachungskameras beitragen. AWS-IoT-Greengrass-fähige Kameras können das Gelände kontinuierlich überprüfen, um nach Änderungen der Szenerie, z. B. neuen Besuchern, zu suchen und ggf. eine Warnung zu senden. Die Kameras sind in der Lage, bei der Erkennung der Szenerie schnell lokal eine Analyse durchzuführen und die Daten nur bei Bedarf in die Cloud zu senden.

Einzelhandel und Hotellerie

Einzelhändler, Kreuzfahrtunternehmen und Vergnügungsparks investieren in IoT-Anwendungen, um einen besseren Kundenservice bereitzustellen. Beispielsweise können Sie Objekterkennungsmodelle in Vergnügungsparks ausführen, um einen Überblick über die Besucherzahlen zu erhalten. Kameras erkennen die Besucher und führen lokal eine laufende Zählung durch, ohne dabei riesige Mengen von Videoaufnahmen in die Cloud zu senden – denn dies stellt aufgrund der beschränkten Internetbandbreite häufig ein Problem dar. Diese Lösung kann Wartezeiten bei beliebten Fahrgeschäften des Vergnügungsparks voraussagen und das Besuchererlebnis verbessern.

Videoverarbeitung

AWS IoT Greengrass kann auf verbundenen Geräten wie Sicherheitskameras, Verkehrsüberwachungskameras, Bodycams und Geräten zur medizinischen Bildgebung bereitgestellt werden, um lokale Vorhersagen zu unterstützen. Mit AWS IoT Greengrass können Sie Machine-Learning-Modelle wie Gesichtserkennung, Objekterkennung und Bilddichte direkt auf dem Gerät bereitstellen und ausführen. So könnte eine Verkehrskamera beispielsweise die Fahrräder, Fahrzeuge und Fußgänger zählen, die eine Kreuzung passieren, und erkennen, wenn die Verkehrsampeln angepasst werden müssen, um den Verkehrsfluss zu optimieren und für die Sicherheit der Verkehrsteilnehmer zu sorgen.

Vorgestellte Kunden

AWS IoT Greengrass unterstützt Yanmar, die Intelligenz von Gewächshausabläufen durch automatisches Erfassen und Erkennen der wichtigsten Wachstumsstadien von Gemüsepflanzen zu verbessern und damit den Ertrag zu steigern.

Der Electronic Caregiver gewährleistet durch AWS IoT Greengrass ML Inference hochwertige Pflege und kann Machine Learning-Modelle auf Edgegeräte übertragen und eine bessere Sicherheit der Patienten gewährleisten.