Warum Amazon SageMaker MLOps?
Amazon SageMaker stellt speziell entwickelte Tools für Machine Learning Operations (MLOps) zur Verfügung, um Sie bei der Automatisierung und Standardisierung von Prozessen im gesamten ML-Lebenszyklus zu unterstützen. Mit den MLOps-Tools von SageMaker können Sie ML-Modelle mühelos im großen Maßstab trainieren, testen, Fehler beheben, bereitstellen und verwalten. So steigern Sie die Produktivität von Datenwissenschaftlern und ML-Ingenieuren und gewährleisten gleichzeitig die Modellleistung in der Produktion.
Funktionsweise
Vorteile von SageMaker MLOps
Modellentwicklung beschleunigen
Bereitstellung standardisierter datenwissenschaftlicher Umgebungen
Die Standardisierung von ML-Entwicklungsumgebungen steigert die Produktivität von Datenwissenschaftlern und letztlich das Innovationstempo. Dadurch wird es einfach, neue Projekte zu starten, Datenwissenschaftler projektübergreifend zu rotieren und bewährte Methoden für ML zu implementieren. Amazon SageMaker Projects bietet Vorlagen für die schnelle Bereitstellung von standardisierten Umgebungen für Datenwissenschaftler mit bewährten und aktuellen Tools und Bibliotheken, Quellcode-Repositories, Boilerplate-Code und CI/CD-Pipelines.
Lesen Sie den Entwicklerhandbuch zur Automatisierung von MLOps mit SageMaker-Projekten
Während ML-Experimenten mit MLflow zusammenarbeiten
Die ML-Modellbildung ist ein iterativer Prozess, bei dem Hunderte von Modellen trainiert werden, um den besten Algorithmus, die beste Architektur und die besten Parameter für eine optimale Modellgenauigkeit zu finden. MLflow ermöglicht es Ihnen, die Inputs und Outputs dieser Trainingsiterationen zu verfolgen, wodurch die Wiederholbarkeit von Studien verbessert und die Zusammenarbeit zwischen Datenwissenschaftlerinnen und -wissenschaftlern gefördert wird. Mit vollständig verwalteten MLflow-Funktionen können Sie MLflow-Tracking-Server für jedes Team erstellen, was eine effiziente Zusammenarbeit bei ML-Experimenten ermöglicht.
Amazon SageMaker mit MLflow verwaltet den gesamten Machine-Learning-Lebenszyklus und optimiert so das effiziente Modelltraining, die Nachverfolgung von Experimenten und die Reproduzierbarkeit in verschiedenen Frameworks und Umgebungen. Es bietet eine einzige Oberfläche, auf der Sie laufende Trainingsaufträge visualisieren, Experimente mit der Kollegschaft teilen und Modelle direkt aus einem Experiment registrieren können.
Workflows zur Anpassung generativer KI-Modelle automatisieren
Mit Amazon SageMaker Pipelines können Sie den End-to-End-ML-Workflow aus Datenverarbeitung, Modelltraining, Feinabstimmung, Bewertung und Bereitstellung automatisieren. Erstellen Sie Ihr eigenes Modell oder passen Sie ein Basismodell aus SageMaker Jumpstart mit wenigen Klicks im visuellen Editor von Pipelines an. Sie können SageMaker Pipelines so konfigurieren, dass sie in regelmäßigen Abständen oder beim Auslösen bestimmter Ereignisse automatisch ausgeführt werden (z. B. neue Trainingsdaten in S3)
Einfache Bereitstellung und Verwaltung von Modellen in der Produktion
Schnelles Reproduzieren Ihrer Modelle für die Fehlersuche
Häufig müssen Sie Modelle in der Produktion reproduzieren, um das Modellverhalten zu beheben und die Grundursache zu ermitteln. Um dies zu unterstützen, protokolliert Amazon SageMaker jeden Schritt Ihres Workflows und erstellt einen Prüfungspfad von Modellartefakten wie Trainingsdaten, Konfigurationseinstellungen, Modellparameter und Lerngradienten. Mithilfe der Verfolgung der Abstammung können Sie Modelle neu erstellen, um mögliche Probleme zu beheben.
Zentrales Nachverfolgen und Verwalten von Modellversionen
Das Erstellen einer ML-Anwendung umfasst die Entwicklung von Modellen, Daten-Pipelines, Training-Pipelines und Validierungstests. Mit Amazon SageMaker Model Registry können Sie Modellversionen, deren Metadaten, wie beispielsweise die Gruppierung von Anwendungsfällen, und Modellleistungsmetriken in einem zentralen Repository nachverfolgen, in dem es einfach ist, das richtige Modell für die Bereitstellung auf der Grundlage Ihrer Geschäftsanforderungen auszuwählen. Darüber hinaus protokolliert SageMaker Model Registry automatisch Genehmigung-Workflows für Audit und Compliance.
Erfahren Sie mehr über das Registrieren und Bereitstellen von Modellen mit Model Registry
ML-Infrastruktur durch Code definieren
Die Orchestrierung der Infrastruktur durch erklärende Konfigurationsdateien, allgemein als „Infrastructure-as-Code“ bezeichnet, ist ein beliebter Ansatz für die Bereitstellung der ML-Infrastruktur und zur Implementierung der Lösungsarchitektur wie sie von CI/CD-Pipelines oder Bereitstellungstools vorgegeben wird. Mit Amazon SageMaker Projects können Sie Infrastructure-as-Code mithilfe von vorgefertigten Vorlagendateien schreiben.
Erfahren Sie mehr über die Automatisierung von MLOps mit SageMaker-Projekten
Automatisierung von Integration- und Bereitstellungs- (CI/CD) Workflows
ML-Entwicklungs-Workflows sollten in Integrations- und Bereitstellungs-Workflows integriert werden, um schnell neue Modelle für Produktionsanwendungen bereitzustellen. Amazon SageMaker Projects integriert CI/CD-Praktiken in ML, wie beispielsweise die Aufrechterhaltung der Parität zwischen Entwicklungs- und Produktionsumgebung, Quell- und Versionskontrolle, A/B-Tests und End-to-End-Automatisierung. Dadurch bringen Sie ein Modell sofort nach der Freigabe in Produktion und steigern die Agilität.
Darüber hinaus bietet Amazon SageMaker integrierte Sicherheitsvorkehrungen, die Ihnen dabei helfen, die Endpunktverfügbarkeit aufrechtzuerhalten und das Bereitstellungsrisiko zu minimieren. SageMaker übernimmt die Einrichtung und Orchestrierung bewährter Methoden wie Blau/Grün-Bereitstellungen, um die Verfügbarkeit zu maximieren, und integriert sie mit Endpunkt-Aktualisierungsmechanismen, wie beispielsweise automatischen Rollback-Mechanismen. Auf diese Weise können Sie Probleme automatisch frühzeitig erkennen und Korrekturmaßnahmen ergreifen, bevor diese die Produktion erheblich beeinträchtigen.
Erstellen Sie mithilfe von SageMaker-Projekten umfassende ML-Lösungen mit CI/CD
Kontinuierliches Neutrainieren der Modelle zur Aufrechterhaltung der Prognosequalität
Sobald ein Modell in Produktion ist, müssen Sie seine Leistung überwachen. Dazu konfigurieren Sie Warnmeldungen, damit ein Datenwissenschaftler auf Abruf das Problem beheben und ein erneutes Training auslösen kann. Amazon SageMaker Model Monitor unterstützt Sie bei der Aufrechterhaltung der Qualität, indem es Modell- und Konzeptabweichungen in Echtzeit erkennt und Ihnen Warnmeldungen sendet, damit Sie sofort Maßnahmen ergreifen können. SageMaker Model Monitor überwacht fortlaufend die Leistungsmerkmale des Modells, wie beispielsweise die Genauigkeit, die die Anzahl der korrekten Prognosen im Vergleich zur Gesamtzahl der Prognosen misst, damit Sie Anomalien beheben können. SageMaker Model Monitor ist in SageMaker Clarify integriert, um die Sichtbarkeit potenzieller Verzerrungen zu verbessern.
Optimierung der Bereitstellung von Modellen im Hinblick auf Leistung und Kosten
Amazon SageMaker vereinfacht die Bereitstellung von ML-Modellen für Inferenzen mit hoher Leistung und geringen Kosten für jeden Anwendungsfall. Es stellt eine umfangreiche Auswahl an ML-Infrastruktur- und Modellbereitstellungsoptionen zur Verfügung, um all Ihre ML-Inferenzanforderungen zu erfüllen.
