Infrastruktur von AWS Machine Learning
Eine leistungsstarke, kostengünstige und energieeffiziente Infrastruktur für ML-Anwendungen
Von Fortune-500-Unternehmen bis hin zu Startups setzen Unternehmen aus verschiedenen Branchen zunehmend Machine Learning (ML) für eine Vielzahl von Anwendungsfällen ein, unter anderem zur natürliche Sprachverarbeitung (NLP) sowie für Computer Vision, Sprachassistenten, Betrugserkennung und Empfehlungsmaschinen. Darüber hinaus eröffnen große Sprachmodelle (LLMs) mit Hunderten von Milliarden von Parametern neue generative KI-Anwendungsfälle, beispielsweise für die Bild- und Textgenerierung. Mit dem Wachstum von ML-Anwendungen gehen die Zunahme der Nutzung, des Verwaltungsaufwands und der Kosten von Rechen-, Speicher- und Netzwerkressourcen einher. Der Erkennen und die Auswahl der richtigen Rechnerinfrastruktur ist wichtig, um den hohen Stromverbrauch zu reduzieren, übermäßige Kosten zu senken und Komplexität bei Schulung und Bereitstellung von ML-Modellen in der Produktion zu vermeiden. Um Ihnen zu helfen, Ihre ML-Innovation zu beschleunigen, bietet AWS die ideale Kombination aus leistungsstarken, kostengünstigen und energieeffizienten, speziell entwickelten ML-Tools und Beschleunigern, die für ML-Anwendungen optimiert sind.
Vorteile
Einfache Nutzung
Greifen Sie auf speziell entwickelte ML-Beschleuniger wie AWS Trainium und AWS Inferentia zu, um Basismodelle (FMs) zu trainieren und bereitzustellen und sie mithilfe von AWS Managed Services wie Amazon SageMaker und Amazon Bedrock in Ihre Anwendungen zu integrieren. SageMaker bietet Datenwissenschaftlern und ML-Entwicklern vortrainierte Basismodelle, die vollständig an Ihren spezifischen Anwendungsfall und Ihre Daten angepasst und in der Produktion eingesetzt werden können. Bedrock bietet Kunden ein Serverless-Erlebnis für die Erstellung generativer KI-Anwendungen mithilfe von FMs über eine API.
Hohe Leistung
Sie können Ihre ML-Anwendung mit der leistungsstärksten ML-Infrastruktur von AWS betreiben. Amazon EC2 P4d- und Amazon EC2 Trn1-Instances sind ideal für leistungsstarkes ML-Training. Für Inferenz bieten Amazon EC2 Inf2-Instances, die auf Inferentia2 der zweiten Generation basieren, einen viermal höheren Durchsatz und eine bis zu zehnmal geringere Latenz als Inferentia-basierte Instances der vorherigen Generation.
Kostengünstig
Mit einer breiten Auswahl an Infrastruktur-Services können Sie die zu Ihrem Budget passende Infrastruktur auswählen. Auf AWS Trainium basierende Amazon EC2 Trn1-Instances ermöglichen Einsparungen von 50 % bei den Schulungskosten, und Amazon EC2 Inf2-Instances auf der Basis von AWS Inferentia2 bieten ein um bis zu 40 % besseres Preis-Leistungs-Verhältnis als vergleichbare Amazon EC2-Instances. Sie können diese Kosteneinsparungen reinvestieren, um Innovationen zu beschleunigen und Ihr Geschäft auszubauen.
Nachhaltigkeit
AWS hat sich verpflichtet, das Ziel von Amazon zu erreichen, bis zum Jahr 2040 kohlenstofffrei zu werden. Amazon SageMaker, ein vollständig verwalteter ML-Service, bietet ML-Beschleuniger, die für Energieeffizienz und reduzierten Stromverbrauch optimiert sind, während ML-Modelle trainiert und in der Produktion eingesetzt werden. Amazon EC2-Instances, die von ML-Beschleunigern wie AWS Trainium und AWS Inferentia2 unterstützt werden, bieten eine bis zu 50 % höhere Leistung pro Watt als andere vergleichbare Amazon EC2-Instances.
Skalierbar
Damit sie skalieren können, haben AWS-Kunden Zugriff auf praktisch unbegrenzte Rechen-, Netzwerk- und Speicherkapazitäten. Sie können je nach Bedarf von einer GPU oder einem ML-Beschleuniger aus auf Tausende von Terabyte bis Petabyte Speicher hoch- oder herunterskalieren. Mit der Cloud müssen Sie nicht in jede mögliche Infrastruktur investieren. Nutzen Sie stattdessen elastische Rechen-, Speicher- und Netzwerkfunktionen.
Unterstützung für beliebte ML-Frameworks
AWS-Computing-Instances unterstützen wichtige Machine-Learning-Frameworks wie TensorFlow und PyTorch. Für eine breite Palette von Anwendungsfällen für Machine Learning unterstützen sie außerdem Modelle und Toolkits wie Hugging Face. Um Deep Learning in der Cloud zu beschleunigen, sind die AWS-Deep-Learning-AMIs (AWS DLAMIs) und AWS-Deep-Learning-Container (AWS DLCs) mit Optimierungen für ML-Frameworks und Toolkits vorinstalliert.
Lösungen
*Abhängig von Ihren Inferenzanforderungen können Sie andere Instances in Amazon EC2 für CPU-basierte Inferenz erkunden.
Erfolgsgeschichten
-
Pepperstone
-
Finch Computing
-
Amazon Robotics
-
Money Forward
-
Rad AI
-
Amazon Alexa
-
Autodesk
-
Sprinklr
-
Pepperstone
-
Pepperstone nutzt die ML-Infrastruktur von AWS, um mehr als 40.000 einzelnen Besuchern pro Monat ein nahtloses globales Trading-Erlebnis zu bieten. Sie verwenden Amazon SageMaker, um die Erstellung und Bereitstellung von ML-Modellen zu automatisieren. Durch die Umstellung auf SageMaker konnten die Spannungen zwischen DevOps- und Data-Science-Teams reduziert und die Trainingszeit für ML-Modelle von 180 Stunden auf 4,3 Stunden reduziert werden.
-
Finch Computing
-
Finch Computing verwendet AWS Inferentia mit PyTorch auf AWS, um ML-Modelle für NLP-Aufgaben wie Sprachübersetzung und Disambiguierung von Entitäten zu erstellen, wodurch die Inferenzkosten im Vergleich zu GPUs um über 80 % gesenkt wurden.
-
Amazon Robotics
-
Amazon Robotics entwickelt mit Amazon SageMaker ein komplexes Machine-Learning-Modell, das das manuelle Scannen in den Logistikzentren von Amazon ersetzt. Amazon Robotics nutzte Amazon SageMaker und AWS Inferentia, um die Inferenzkosten um fast 50 Prozent zu senken
-
Money Forward
-
Wir haben auf den Amazon EC2 Inf1-Instances einen groß angelegten KI-Chatbot-Service gestartet, unsere Inferenzlatenz gegenüber vergleichbaren GPU-basierten Instances um 97 % reduziert und gleichzeitig die Kosten gesenkt. Auf der Grundlage ihrer erfolgreichen Migration zu Inf1-Instances evaluieren sie nun auch die auf AWS Trainium basierenden EC2 Trn1-Instances, um die ML-Leistung und die Kosten durchgängig zu verbessern.
-
Rad AI
-
Rad AI verwendet KI, um radiologische Workflows zu automatisieren und die radiologische Berichterstattung zu optimieren. Mit den neuen Amazon-EC2-P4d-Instances erreicht Rad AI schnellere Inferenz und die Möglichkeit, Modelle 2,4 x schneller und mit höherer Genauigkeit zu trainieren.
-
Amazon Alexa
-
„Die KI- und ML-basierte Intelligenz von Amazon Alexa, die von Amazon Web Services unterstützt wird, ist heute auf mehr als 100 Millionen Geräten verfügbar – und unser Versprechen an die Kunden ist, dass Alexa immer intelligenter, gesprächiger, proaktiver und noch reizvoller wird. Um dieses Versprechen zu halten, müssen die Antwortzeiten und die Infrastrukturkosten für Machine Learning kontinuierlich verbessert werden. Deshalb freuen wir uns, Amazon EC2 Inf1 zu nutzen, um die Inferenz-Latenzzeit und die Kosten pro Inferenz bei Alexa Text-to-Speech zu senken. Mit Amazon EC2 Inf1 werden wir in der Lage sein, den Service für die zig Millionen Kunden, die Alexa jeden Monat nutzen, noch besser zu machen.“
Tom Taylor, Senior Vice President, Amazon Alexa
-
Autodesk
-
.9396df1d739f5a3b99ce8985231b0a48f7767c05.png "Logo von Autodesk")
„Autodesk treibt die kognitive Technologie unseres KI-gestützten virtuellen Assistenten, Autodesk Virtual Agent (AVA), mit Hilfe von Inferentia voran. AVA beantwortet mehr als 100.000 Kundenfragen pro Monat durch Anwendung von natürlichem Sprachverständnis (NLU) und Deep-Learning-Techniken, um den Kontext, die Absicht und die Bedeutung hinter den Anfragen zu extrahieren. Durch die Pilotierung von Inferentia sind wir in der Lage, einen 4,9-fach höheren Durchsatz als G4dn für unsere NLU-Modelle zu erzielen, und wir freuen uns darauf, mehr Workloads auf den Inferentia-basierten Inf1-Instances auszuführen.“
Binghui Ouyang, Sr. Daten-Wissenschaftler, Autodesk
-
Sprinklr
-
„Sprinklr bietet eine Plattform für Unified Customer Experience Management (Unified-CXM), die verschiedene Anwendungen für Marketing, Werbung, Forschung, Kundenbetreuung, Vertrieb und Engagement mit sozialen Medien kombiniert. Das Ziel ist immer eine geringere Latenz, denn das bedeutet ein besseres Kundenerlebnis. Mit Amazon-EC2-Inf1-Instances können wir das erreichen.“
Jamal Mazhar, Vice President of Infrastructure and DevOps – Sprinklr