Bei Amazon Data Firehose zahlen Sie nur für das in den Service aufgenommene Datenvolumen. Es fallen weder Einrichtungsgebühren noch Vorleistungen an. Bei Data Firehose gibt es vier Arten von On-Demand-Nutzung: Erfassung, Formatkonvertierung, VPC-Lieferung und dynamische Partitionierung. Es können zusätzliche Datenübertragungskosten anfallen.
Direktes PUT und KDS als Quellenerfassung
Die Grundfunktion eines Firehose-Streams ist die Aufnahme und Abgabe. Die Preise für die Erfassung sind gestuft und werden pro erfasstem GB in 5-KB-Schritten berechnet (ein 3-KB-Datensatz wird als 5 KB berechnet, ein 12-KB-Datensatz wird als 15 KB berechnet usw.). Für die Bereitstellung fallen keine zusätzlichen Data-Firehose-Gebühren an, sofern keine optionalen Funktionen verwendet werden.
MSK als Erfassungsquelle
Die Grundfunktion eines Firehose-Streams ist die Aufnahme und Abgabe. Die Preise für die Datenaufnahme sind gestaffelt und werden pro aufgenommenem GB ohne 5-KB-Schritte abgerechnet. Die Preise sind gestaffelt und werden pro GB abgerechnet, basierend auf dem höheren Wert zwischen aufgenommenen und gelieferten Bytes. Die Fakturierung erfolgt nach Datenvolumen, es erfolgt keine Rundung der Datensatzgröße.
Verkaufte Protokolle als Erfassungsquelle
Für Daten, die aus verkauften Protokollen kommen, ist der Preis für die Erfassung gestuft und wird pro erfasstem GB ohne 5 KB Zwischenschritte berechnet.
Formatkonvertierung (optional)
Sie können die Konvertierung vom JSON- zu Apache-Partquet- oder Apache-ORC-Format aktivieren. Der Tarif wird pro GB basierend auf erfassten GBs in 5-KB-Schritten berechnet.
VPC-Bereitstellung (optional)
Bei Firehose-Streams mit einem Ziel, das sich in einer Amazon VPC befindet, wird Ihnen die an das Ziel in der VPC übermittelte Datenmenge und jede Stunde, die Ihr Firehose-Stream in jeder AZ aktiv ist, in Rechnung gestellt. Jede angefangene Stunde wird als volle Stunde abgerechnet.
Dynamische Partitionierung für Amazon-S3-Bereitstellung (optional)
Sie können die dynamische Partitionierung aktivieren, um Daten fortlaufend nach Partitionierungsschlüsseln in Ihren Datensätzen zu gruppieren (z. B. „customer_id“), und die nach den Partitionierungsschlüsseln gruppierten Daten an entsprechende Amazon-S3-Präfixe zu übermitteln. Bei dynamischer Partitionierung zahlen Sie basierend auf der durch dynamische Partitionierung verarbeiteten Datenmenge und pro an Amazon S3 übermitteltes Objekt. Wenn Sie den JQ-Parser für die dynamische Partitionierung verwenden, zahlen Sie für die JQ-Analyse pro Verarbeitungsstunde.
Dekomprimierung von CloudWatch-Protokollen (optional)
Wenn die Dekomprimierung für Datensätze aus CloudWatch Logs aktiviert ist, wird der Preis für die Dekomprimierung pro dekomprimiertem GB berechnet.
Snowflake als Ziel
Für Firehose-Streams, die mit Snowflake als Ziel konfiguriert sind, wird Ihnen die Menge der bis zum Ziel verarbeiteten Daten in Rechnung gestellt. Die Preise werden pro aufgenommenem GB ohne 5-KB-Schritte abgerechnet. Die Preisgestaltung basiert auf dem höheren Wert zwischen erfassten und gelieferten Bytes.
Apache-Iceberg-Tabellen als Ziel
Für Firehose-Streams, die mit Apache-Iceberg-Tabellen als Ziel konfiguriert sind, wird Ihnen die Menge der bis zum Ziel verarbeiteten Daten in Rechnung gestellt. Die Preise werden pro erfasstem GB ohne 5-KB-Schritte abgerechnet. Wenn die verarbeiteten Datenbytes vor der Übermittlung aufgrund der benutzerdefinierten Lambda-Verarbeitung größer sind als die erfassten Bytes, werden die zusätzlichen Bytes ebenfalls in Rechnung gestellt. Für zusätzliche Bytes gilt für alle Aufnahmequellen, einschließlich Direct PUT derselbe Tarif wie bei Kinesis-Datenströme als Quelle mit Apache-Iceberg-Tabellen als Ziel.
-
Direct PUT
-
Kinesis-Datenstrom als Quelle
-
Vended Logs als Quelle
-
MSK als Quelle
-
Direct PUT
-
-
Apache-Iceberg-Tabellen als Ziel
-
Snowflake als Ziel
-
Andere Ziele
-
Apache-Iceberg-Tabellen als Ziel
-
-
Snowflake als Ziel
-
-
Andere Ziele
-
-
-
Kinesis-Datenstrom als Quelle
-
-
Apache-Iceberg-Tabellen als Ziel
-
Snowflake als Ziel
-
Andere Ziele
-
Apache-Iceberg-Tabellen als Ziel
-
-
Snowflake als Ziel
-
-
Andere Ziele
-
-
-
Vended Logs als Quelle
-
-
Apache-Iceberg-Tabellen als Ziel
-
Andere Ziele
-
Apache-Iceberg-Tabellen als Ziel
-
-
Andere Ziele
-
-
-
MSK als Quelle
-
-
Apache-Iceberg-Tabellen als Ziel
-
Andere Ziele
-
Apache-Iceberg-Tabellen als Ziel
-
-
Andere Ziele
-
-
Preisbeispiele
Preise für Erfassung bei Direkter PUT und KDS als Quelle
Datensatzgröße von 3 KB, aufgerundet auf die nächsten erfassten 5 KB = 5 KB
Preis für erste 500 TB/Monat = 0,029 USD pro GB
Für Erfassungsdaten berechnete GB = (100 Datensätze/Sek. x 5 KB/Datensatz) / 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek./Tag = 1 235,96 GB
Monatliche Erfassungskosten = 1 235,96 GB x 0,029 USD/GB = 35,84 USD
Erfassungspreise für MSK als Quelle
Datensatzgröße von 2 KB (keine 5-KB-Schritte)
Preis für die ersten 500 TB/Monat = 0,055 USD pro GB
Für Erfassungsdaten berechnete GB (unter der Annahme des gleichen Datenvolumens wie die Bereitstellungsdaten) = (100 Datensätze/Sek. x 2 KB/Datensatz) / 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek./Tag = 494,38 GB
Monatliche Gebühren für das Datenvolumen = 494,38 GB x 0,055 USD/GB = 27,19 USD
Preise für Erfassung mit verkauften Protokollen als Quelle
Datensatzgröße von 0,5 KB (500 Bytes) = 0,5 KB (Keine 5 KB Schritte)
Preis für die ersten 500 TB/Monat = 0,13 USD pro GB
Für Erfassung berechnete GB = (100 Datensätze/Sek. x 0,5 KB/Datensatz)/ 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek/Tag = 123,59 GB
Monatliche Erfassungskosten = 123,59 GB x 0,13 USD/GB = 16,06 USD
Preise für Snowflake als Ziel
Datensatzgröße von 0,5 KB (500 Bytes) = 0,5 KB (keine 5 KB-Schritte)
Preis pro GB, das an Snowflake geliefert wird = 0,071 USD pro GB
Für Erfassung berechnete GB = (100 Datensätze/Sek. x 0,5 KB/Datensatz)/ 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek/Tag = 123,59 GB
Monatliche Erfassungskosten = 123,59 GB x 0,13 USD/GB = 8,77 USD
Preise für Apache-Iceberg-Tabellen als Ziel
Datensatzgröße von 0,5 KB (500 Bytes) = 0,5 KB (keine 5 KB-Schritte)
Preis pro GB, das von Kinesis Data Streams als Quelle an Apache-Iceberg-Tabellen geliefert wird = 0,045 USD pro GB
Für Erfassung berechnete GB = (100 Datensätze/Sek. x 0,5 KB/Datensatz)/ 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek/Tag = 123,59 GB
Monatliche Erfassungskosten = 123,59 GB x 0,045 USD/GB = 5,56 USD
Preise für Formatkonvertierung: JSON zu Parquet oder ORC (optional)
Datensatzgröße von 0,5 KB (500 Bytes) = 0,5 KB (keine 5 KB-Schritte)
Preis für die ersten 500 TB/Monat = 0,13 USD pro GB
Für Erfassung berechnete GB = (100 Datensätze/Sek. x 0,5 KB/Datensatz)/ 1 048 576 KB/GB x 30 Tage/Monat x 86 400 Sek/Tag = 123,59 GB
Monatliche Erfassungskosten = 123,59 GB x 0,13 USD/GB = 16,06 USD
Die Konvertierung des Datenformat ist ein optionales Add-on für die Datenerfassung und verwendet die für die Erfassung berechneten GB, um die Kosten zu berechnen.
Preis pro erfasstem konvertierten GB = 0,018 USD
Monatliche Formatkonvertierungsgebühren = 1.235,96 GB * 0,018 USD /konvertierte GB = 22,25 USD
Preis für VPC-Bereitstellung (optional)
Die Bereitstellung in eine VPC ist eine optionale Ergänzung zur Datenaufnahme und verwendet zur Berechnung der Kosten GBs, die in der VPC an das Ziel übermittelt werden.
Preis pro GB, das in VPC an das Ziel übermittelt wird = 0,01 USD
Preis pro AZ-Stunde für die Bereitstellung an eine VPC = 0,01 USD
Monatliche VPC-Verarbeitungsgebühren = 1.235,96 GB * 0,01 USD/verarbeitete GB = 12,35 USD
Monatliche VPC-Stundengebühren = 24 Stunden * 30 Tage/Monat * 3 AZs = 2.160 Stunden * 0,01 USD/Stunde = 21,60 USD Monatliche VPC-Gebühren insgesamt = 33,95 USD
Preise für dynamische Partitionierung (optional)
Die dynamische Partitionierung ist ein optionales Add-On zur Datenerfassung und verwendet zur Berechnung der Kosten die durch die dynamische Partitionierung verarbeiteten GB, die Anzahl der an S3 übermittelten Objekte und optional die JQ-Verarbeitungsstunden. In diesem Beispiel gehen wir davon aus, dass im Rahmen der Pufferkonfiguration für den Firehose-Stream 64 MB Objekte bereitgestellt wurden.
Wenn Sie optionale Features – wie Datentransformation mithilfe von Lambda, Formatkonvertierung oder Komprimierung – in Ihrem Firehose-Stream wenden, kann sich die durch die dynamische Partitionierung verarbeitete Datenmenge möglicherweise von der aus der Quelle erfassten Datenmenge oder der an das Ziel übermittelten Datenmenge unterscheiden. Diese zusätzlichen Datenverarbeitungsschritte, die vor und nach der dynamischen Partitionierung durchgeführt werden, könnten den Unterschied ausmachen.
Preis pro GB, das durch dynamische Partitionierung verarbeitet wird = 0,020 USD
Preis pro 1 000 übermittelte S3-Objekte 0,005 USD = 0,005 USD
Preis pro JQ-Verarbeitungsstunde = 0,07 USD
Durch dynamische Partitionierung verarbeitete monatliche GB = (3 KB x 100 Datensätze/Sekunde) / 1 048 576 KB/GB x 86 400 Sekunden/Tag x 30 Tage/Monat = 741,58 GB
Monatliche Gebühren für GB, die durch dynamische Partitionierung verarbeitet werden = 741,58 GB 0,02 USD pro GB, die durch dynamische Partitionierung verarbeitet werden = 14,83 USD
Anzahl der bereitgestellten Objekte = 741,58 GB x 1 024 MB/GB / 64 MB Objektgröße = 11 866 Objekte
Monatliche Gebühren für an S3 bereitgestellte Objekte = 11.866 Objekte * 0,005 USD / 1.000 Objekte = 0,06 USD
Monatliche Gebühren für JQ (falls aktiviert) = 70 verbrauchte JQ-Stunden/Monat * 0,07 USD/ JQ-Verarbeitungsstd. = 4,90 USD
Dekomprimierung von CloudWatch-Protokollen
CloudWatch-Protokolle sendet Daten im komprimierten GZIP-Format. Das Feature zur Dekomprimierung von Data Firehose dekomprimiert die Daten und berechnet die Gebühren pro GB dekomprimierter Daten.
Monatliche Nutzung = 10 TB dekomprimierte CloudWatch-Protokolldaten
Preis pro dekomprimiertem GB = 0,00325 USD/GB in IAD
Monatliche Gebühren für Dekomprimierung = 10 240 GB * 0,00325 USD/GB = 33,28 USD
Service Level Agreement
Erfahren Sie mehr über das Amazon Data Firehose Service Level Agreement, indem Sie unsere FAQs besuchen.
Weitere Amazon-Data-Firehose-Ressourcen entdecken