Keine Server zu verwalten

Vollständig verwaltet

Mit nur wenigen Klicks in der Konsole können Sie einen vollständig verwalteten Apache-Kafka-Cluster erstellen, der den bewährten Bereitstellungsmethoden von Apache Kafka folgt, oder einen eigenen Cluster mit einer benutzerdefinierten Konfiguration verwenden. Sobald Sie die gewünschte Konfiguration erstellt haben, stellt Amazon MSK Ihren Apache-Kafka-Cluster automatisch bereit, konfiguriert und verwaltet diesen.

Inklusive Knoten zur Metadatenverwaltung

Apache Kafka verwendet entweder KRaft (Apache Kafka Raft) oder Apache ZooKeeper zur Metadatenverwaltung. Mit Amazon MSK können Sie Cluster in beiden Modi auf unterstützten Apache-Kafka-Versionen erstellen. Amazon MSK verwaltet diese zusätzlichen Metadatenknoten auch ohne zusätzliche Kosten für Sie.

Amazon MSK Serverless

MSK Serverless ist ein Clustertyp für Amazon MSK, der den Betrieb von Apache-Kafka-Clustern erleichtert, da keine Rechen- und Speicherkapazität verwaltet werden muss. MSK Serverless stellt automatisch Ressourcen bereit, skaliert sie und verwaltet gleichzeitig Apache-Kafka-Partitionen. Sie können also Daten streamen, ohne sich um die richtige Größe oder Skalierung von Clustern kümmern zu müssen.

Hochverfügbar

Hohe Verfügbarkeit ist Standard

Alle Cluster werden über mehrere AZs (drei sind Standard) verteilt, werden durch die Service-Level-Vereinbarung von Amazon MSK unterstützt und sowie durch automatisierte Systeme, die Probleme innerhalb der Cluster-Infrastruktur und der Apache-Kafka-Software erkennen und darauf reagieren. Wenn eine Komponente ausfällt, ersetzt Amazon MSK sie automatisch und ohne Ausfallzeiten für Ihre Anwendungen. Amazon MSK verwaltet die Verfügbarkeit Ihrer Apache-ZooKeeper- oder KRaft-Controller-Knoten, so dass Sie die Knoten nicht selbst starten, anhalten oder direkt darauf zugreifen müssen. Es stellt bei Bedarf außerdem automatische Software-Patches bereit, um Ihren Cluster auf dem neuesten Stand zu halten und einen reibungslosen Betrieb zu gewährleisten.

Zuverlässige und automatisierte Datenreplikation über MSK-Cluster hinweg

MSK Replicator ist ein Feature von Amazon MSK, mit der Sie Daten mit nur wenigen Klicks zuverlässig über Amazon MSK-Cluster hinweg replizieren können, ohne dass Sie Fachwissen für die Einrichtung von Open-Source-Tools, das Schreiben von Code oder die Verwaltung der Infrastruktur benötigen. MSK Replicator stellt die zugrunde liegenden Ressourcen automatisch bereit und skaliert sie, sodass Sie Daten bei Bedarf replizieren können und nur für das bezahlen, was Sie tatsächlich nutzen. Mit MSK Replicator können Sie hochverfügbare und fehlertolerante Anwendungen für mehrere Regionen erstellen, um die Ausfallsicherheit zu erhöhen. Sie können MSK Replicator auch verwenden, um Datenzugriff mit niedrigerer Latenz in verschiedenen geografischen Regionen bereitzustellen oder Daten an Ihre Partner zu verteilen.

Hochsicher

Private Verbindung

Ihre Apache-Kafka-Cluster werden in einer Amazon Virtual Private Cloud (VPC) ausgeführt, die von Amazon MSK verwaltet wird. Kafka-Clients in Ihrer eigenen Amazon VPC können über eine kontoübergreifende elastische Netzwerkschnittstelle, die Amazon MSK in Ihrer VPC bereitstellt, privat auf den Cluster zugreifen. Wenn Ihre Kafka-Clients auf eine oder mehrere VPCs oder AWS-Konten verteilt sind, können Sie mithilfe der Funktion für private Verbindungen mit mehreren VPCs trotzdem eine private Verbindung zu Ihrem Cluster herstellen. Diese Funktion macht den operativen Aufwand für die Selbstverwaltung einer PrivateLink-Lösung überflüssig und lässt sich nahtlos skalieren, wenn der Amazon-MSK-Cluster skaliert, sodass Sie die private Konnektivität zum Cluster aufrechterhalten können, ohne zusätzliche Konfigurationsänderungen vornehmen zu müssen. Private Konnektivität mit mehreren VPCs beseitigt auch die Probleme bei der Verwaltung nicht überlappender IPs und komplexer Peering- und Routing-Tabellen, die mit anderen VPC-Konnektivitätslösungen verbunden sind, da sie überlappende IPs zwischen den verbundenen VPCs ermöglicht.

Kontoübergreifende Zugriffskontrolle

Verwenden Sie eine Cluster-Richtlinie für Ihren Amazon-MSK-Cluster, um zu definieren, welche IAM-Prinzipale über kontoübergreifende Berechtigungen verfügen, private Verbindungen zu Ihrem Amazon-MSK-Cluster einzurichten. Bei Verwendung mit der IAM-Client-Authentifizierung können Sie die Cluster-Richtlinie auch verwenden, um die Kafka-Berechtigungen auf Datenebene für die verbundenen Clients differenziert zu definieren.

Differenzierte Zugriffskontrolle

IAM Access Control ist eine kostenlose Sicherheitsoption, die die Cluster-Authentifizierung und die Apache-Kafka-API-Autorisierung vereinfacht, indem sie IAM-Rollen oder Benutzerrichtlinien zur Zugriffskontrolle verwendet. Beim Einsatz von IAM Access Control müssen Sie keine eigenen Zugriffsverwaltungssysteme mehr entwickeln und betreiben, um die Client-Authentifizierung und -Autorisierung für Apache Kafka zu steuern. Ihre Cluster sind standardmäßig durch Berechtigungen gesichert, die dem Least-Privilege-Prinzip entsprechen. Für bereitgestellte Cluster können Sie auch Simple Authentication and Security Layer (SASL) / Salted Challenge Response Authentication Mechanism (SCRAM) oder gegenseitige Transport Layer Security (TLS)-Authentifizierung mit Apache-Kafka-Zugangskontrolllisten (ACLs) verwenden, um den Client-Zugriff zu steuern.

Verschlüsselung im Ruhezustand und bei der Übertragung

Amazon MSK verschlüsselt Ihre Daten im Ruhezustand ohne spezielle Konfiguration oder Tools von Drittanbietern. Bei bereitgestellten Clustern können alle Daten im Ruhezustand verschlüsselt werden, wobei standardmäßig der Schlüssel von AWS Key Management Service (KMS) oder Ihr eigener Schlüssel verwendet wird. Sie können auch Daten, die über TLS zwischen Brokern und zwischen Clients und Brokern in Ihrem Cluster übertragen werden, verschlüsseln. Bei Serverless-Clustern werden alle Daten im Ruhezustand standardmäßig mit vom Service verwalteten Schlüsseln verschlüsselt und alle Daten bei der Übertragung werden standardmäßig über TLS verschlüsselt.

Konnektivität über das Internet

Amazon MSK bietet die Option, über das Internet eine sichere Verbindung mit den Brokern von Amazon-MSK-Clustern herzustellen, auf denen Apache Kafka 2.6.0 oder höher ausgeführt wird. Durch die Aktivierung des öffentlichen Zugriffs können autorisierte Clients außerhalb einer privaten Amazon Virtual Private Cloud (VPC) verschlüsselte Daten in und aus bestimmten Amazon-MSK-Clustern streamen.

Kontoübergreifende Zugriffskontrolle

Verwenden Sie eine Cluster-Richtlinie für Ihren Amazon-MSK-Cluster, um zu definieren, welche kontoübergreifenden IAM-Prinzipale berechtigt sind, eine kontoübergreifende private Verbindung zu Ihrem Amazon-MSK-Cluster einzurichten. Bei Verwendung mit der IAM-Client-Authentifizierung können Sie die Cluster-Richtlinie auch verwenden, um die Kafka-Berechtigungen auf Datenebene für die verbundenen Clients differenziert zu definieren.

Umfassende Integration

Kein anderer Anbieter bietet die Breite und Tiefe der AWS-Integrationen in Amazon MSK. Diese Integrationen umfassen:

Graviton

AWS-Graviton3-Prozessoren sind die neueste Generation von maßgeschneiderten AWS-Graviton-Prozessoren, die auf dem AWS Nitro System basieren. Die auf Graviton3-Prozessoren basierenden M7g-Instances bieten im Vergleich zu M5-Instances ähnlicher Größe einen höheren Speicherdurchsatz und einen höheren Netzwerkdurchsatz zu geringeren Kosten.

Open Source

Ausführen mit nativem Apache Kafka

Amazon MSK unterstützt die Bereitstellung nativer Versionen von Apache Kafka, sodass Anwendungen und Tools, die für Apache Kafka entwickelt wurden, ohne Änderungen am Anwendungscode sofort mit Amazon MSK funktionieren.

Vereinfachte Verfügbarkeit der Version

Amazon MSK stellt neuere Versionen von Apache Kafka normalerweise innerhalb von sieben Tagen nach der öffentlichen Verfügbarkeit zur Verfügung.

Nahtlose Versions-Upgrades

Sie können Apache Kafka-Versionen für Amazon MSK-Cluster mit nur wenigen Klicks upgraden. So können Sie entscheiden, wann Sie die Funktionen und Fehlerbehebungen in neuen Apache Kafka-Versionen profitieren. Amazon MSK automatisiert die Bereitstellung von Versions-Upgrades auf laufenden Clustern, um die I/O-Verfügbarkeit der Clients für Kunden zu erhalten, die bewährte Methoden anwenden. Bei Serverless-Clustern werden die Apache-Kafka-Versionen automatisch von Amazon MSK aktualisiert.

Niedrigste Kosten

Mit Amazon MSK können Sie für weniger als 2,00 USD pro Tag beginnen. Kunden zahlen in der Regel zwischen 0,05 und 0,07 USD pro aufgenommenem GB, was 1/13 der Kosten anderer verwalteter Anbieter sein kann. Weitere Informationen zur Preisgestaltung finden Sie auf der Preisseite zu Amazon MSK.

Gestaffelte Speicherung

Mit gestaffelter Speicherung können Sie praktisch unbegrenzt Daten in MSK speichern, ohne dass Sie Speicherkapazität bereitstellen und verwalten müssen. Sie können mit wenigen Klicks für neue oder bestehende Cluster gestaffelte Speicherung aktivieren und für die Nutzung bezahlen. Sie können Daten zunächst in einer leistungsoptimierten primären Speicherebene speichern und MSK die Daten automatisch in die neue, kostengünstigere Ebene schichten lassen, um sie länger aufzubewahren. Die Funktion wird in allen AWS-Regionen unterstützt, in denen MSK verfügbar ist. Um zu erfahren, wie Sie gestaffelte Speicherung beginnen können, besuchen Sie unser Amazon MSK-Entwicklerhandbuch.

Skalierbar

Broker-Skalierung (nur für bereitgestellte Cluster)

Sie können die Größe Ihrer Amazon-MSK-Cluster anpassen, indem Sie die Größe oder Familie Ihrer Apache-Kafka-Broker in Minutenschnelle und ohne Ausfallzeiten ändern. Das Ändern der Größe oder der Familie ist eine beliebte Methode zur Skalierung von Amazon-MSK-Clustern und gibt Ihnen die Flexibilität, die Datenverarbeitungskapazität des Clusters an Änderungen Ihrer Workloads anzupassen. Diese Methode ist vorzuziehen, da sie keine Neuzuweisung von Partitionen, was die Verfügbarkeit von Apache Kafka beeinträchtigen könnte, erfordert.

Cluster-Skalierung (nur bei Serverless-Clustern)

Amazon MSK skaliert die Rechen- und Speicherressourcen Ihres Clusters automatisch entsprechend den Durchsatzanforderungen Ihrer Anwendung.

Automatische Partitionsverwaltung

Amazon MSK ist mit Cruise Control integriert, einem beliebten Open-Source-Tool für Apache Kafka, das die Partitionszuweisung automatisch in Ihrem Namen verwaltet. Bei Serverless Clustern verwaltet Amazon MSK die Partitionszuweisungen automatisch für Sie.

Automatische Speicherskalierung (nur für bereitgestellte Cluster)

Sie können die Menge des bereitgestellten Speichers pro Broker nahtlos hochskalieren, um Änderungen des Speicherbedarfs über die AWS.Managementkonsole oder die AWS Command Line Interface (AWS CLI) zu berücksichtigen. Sie können auch eine Richtlinie zur automatischen Skalierung erstellen, um den Speicherplatz automatisch zu erweitern, wenn die Streaming-Anforderungen steigen.

Konfigurierbar

Amazon MSK stellt standardmäßig eine Cluster-Konfiguration mit bewährten Methoden für Apache Kafka bereit. Bei bereitgestellten Clustern haben Sie die Möglichkeit, mehr als 30 verschiedene Clusterkonfigurationen einzustellen, wobei alle dynamischen und themenbezogenen Konfigurationen unterstützt werden. Weitere Informationen finden Sie unter Benutzerdefinierte MSK-Konfigurationen in der Dokumentation.

Sichtbar

Einfache Beobachtbarkeit der Streaming-Leistung mit CloudWatch-Metriken

Mit Amazon CloudWatch können Sie wichtige Metriken visualisieren und überwachen, um die Leistung von Streaming-Anwendungen zu verstehen und zu erhalten.

Export von JMX- und Node-Metriken auf einen Prometheus-Server mit Open Monitoring (nur für bereitgestellte Cluster)

Mit Open Monitoring mit Prometheus können Sie Amazon MSK mit Lösungen wie Datadog, Lenses, New Relic, Sumo logic oder einem Prometheus-Server überwachen und Ihre vorhandenen Überwachungs-Dashboards einfach auf Amazon MSK migrieren. Weitere Informationen finden Sie unter Offene Überwachung mit Prometheus in der Dokumentation.

Erste Schritte mit Amazon MSK

Kosten berechnen
Kosten berechnen

Zur Seite mit den Preisen für Amazon MSK

Read the documentation
Prüfen Sie das Handbuch für Erste Schritte

In dieser Schritt-für-Schritt-Anleitung erfahren Sie, wie Sie Ihren Apache-Kafka-Cluster auf Amazon MSK einrichten können.

Führen Sie Ihren Apache Kafka-Cluster aus
Führen Sie Ihren Apache Kafka-Cluster aus

Führen Sie Ihren Apache Kafka-Cluster jetzt auf Amazon MSK aus. Melden Sie sich bei der Amazon MSK Console an.