Información general
La solución de transmisión de datos para Amazon Kinesis incluye cuatro opciones de despliegue y las plantillas de AWS CloudFormation que las acompañan, que están configuradas para aplicar las prácticas recomendadas para la transmisión de datos, incluida la supervisión de datos mediante paneles y alarmas, así como la seguridad de los datos.
Los datos de streaming se pueden capturar de forma duradera mediante el almacenamiento escalable masivo, que es capaz de administrar un volumen de datos alto procedente de los productores de datos. Un productor pueden ser miles de orígenes de datos, y cada uno genera datos de streaming de manera continua que, normalmente, envían registros de manera simultánea y en tamaños reducidos (kilobytes). Esta solución de AWS lo ayuda a administrar, proteger y almacenar una amplia variedad de datos de streaming, como los archivos de registro generados por sus clientes mediante aplicaciones móviles o web. También admite el streaming de datos de compras de comercio electrónico, actividad de los jugadores en el juego, información de redes sociales, salas de negociación financiera o servicios geoespaciales y telemetría desde dispositivos conectados o instrumentación en centros de datos.
Beneficios
Detalles técnicos
Puede desplegar automáticamente esta arquitectura con la guía de implementación y las cuatro plantillas de AWS CloudFormation que la acompañan.
-
Opción 1
-
Opción 2
-
Opción 3
-
Opción 4
-
Opción 1
-
Plantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Haga clic para agrandarPlantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Paso 1
Una API de REST de Amazon API Gateway actúa como proxy hacia Amazon Kinesis Data Streams y agrega un registro de datos individual o una lista de registros de datos.Paso 2
Se usa un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API de REST.Paso 3
Kinesis Data Streams para almacenar los datos de streaming entrantes.Paso 4
Una función de AWS Lambda procesa los registros del flujo de datos.Paso 5
Los registros fallidos y errores que se produzcan durante el procesamiento de Lambda quedan anotados, y los eventos se almacenan en Amazon Simple Queue Service (Amazon SQS).
La cola almacena metadatos correspondientes a lotes de registros fallidos o errores de Lambda, lo que permite a los clientes recuperar estos registros y determinar los pasos que se deben seguir para resolverlos.
Paso 1
Una API de REST de Amazon API Gateway actúa como proxy hacia Amazon Kinesis Data Streams y agrega un registro de datos individual o una lista de registros de datos.Paso 2
Se usa un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API de REST.Paso 3
Kinesis Data Streams para almacenar los datos de streaming entrantes.Paso 4
Una función de AWS Lambda procesa los registros del flujo de datos.Paso 5
Los registros fallidos y errores que se produzcan durante el procesamiento de Lambda quedan anotados, y los eventos se almacenan en Amazon Simple Queue Service (Amazon SQS).
La cola almacena metadatos correspondientes a lotes de registros fallidos o errores de Lambda, lo que permite a los clientes recuperar estos registros y determinar los pasos que se deben seguir para resolverlos.
Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 2
-
La plantilla de AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon CloudWatch
Haga clic para agrandarLa plantilla de AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon CloudWatch
Paso 1
Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) usa Amazon Kinesis Producer Library (KPL) para generar datos.Paso 2
Data Streams almacena la secuencia de datos entrante.Paso 3
Amazon Managed Service para Apache Flink Studio procesa los registros entrantes y guarda los datos procesados en un bucket de Amazon Simple Storage Service (Amazon S3).Paso 4
Un panel de Amazon CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.Paso 1
Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) usa Amazon Kinesis Producer Library (KPL) para generar datos.Paso 2
Data Streams almacena la secuencia de datos entrante.Paso 3
Amazon Managed Service para Apache Flink Studio procesa los registros entrantes y guarda los datos procesados en un bucket de Amazon Simple Storage Service (Amazon S3).Paso 4
Un panel de Amazon CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 3
-
La plantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Haga clic para agrandarLa plantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Paso 1
Data Streams almacena los datos de streaming entrantes.Paso 2
Amazon Kinesis Data Firehose envía los datos a un búfer antes de entregar la salida a un bucket de S3. Se trata de un servicio completamente administrado que escala de forma automática para adaptarse al nivel de rendimiento de los datos y que no necesita administración permanente.Paso 3
Un panel de CloudWatch supervisa la ingesta y el almacenamiento en búfer de los datos. Las alarmas de CloudWatch se configuran para métricas esenciales de Kinesis Data Firehose.Paso 1
Data Streams almacena los datos de streaming entrantes.Paso 2
Amazon Kinesis Data Firehose envía los datos a un búfer antes de entregar la salida a un bucket de S3. Se trata de un servicio completamente administrado que escala de forma automática para adaptarse al nivel de rendimiento de los datos y que no necesita administración permanente.Paso 3
Un panel de CloudWatch supervisa la ingesta y el almacenamiento en búfer de los datos. Las alarmas de CloudWatch se configuran para métricas esenciales de Kinesis Data Firehose.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 4
-
Plantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon API Gateway
Haga clic para agrandarPlantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon API Gateway
Paso 1
Una instancia EC2 que usa KPL para generar datos.Paso 2
Kinesis Data Streams almacena los datos de streaming entrantes.Paso 3
Managed Service para Apache Flink procesa los registros entrantes e invoca de forma asíncrona un punto de enlace.Paso 4
La aplicación de demostración invoca una función de Lambda.Paso 5
La API externa puede ser cualquier integración compatible con API Gateway (por ejemplo, un punto de enlace de Amazon SageMaker).Paso 6
Un panel de CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.Paso 1
Una instancia EC2 que usa KPL para generar datos.Paso 2
Kinesis Data Streams almacena los datos de streaming entrantes.Paso 3
Managed Service para Apache Flink procesa los registros entrantes e invoca de forma asíncrona un punto de enlace.Paso 4
La aplicación de demostración invoca una función de Lambda.Paso 5
La API externa puede ser cualquier integración compatible con API Gateway (por ejemplo, un punto de enlace de Amazon SageMaker).Paso 6
Un panel de CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla
Contenido relacionado
Este artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Managed Service para Apache Flink para invocar de forma asíncrona los servicios o bases de datos subyacentes.
Este es un curso introductorio de Amazon Kinesis Analytics que lo ayudará a consultar datos transmitidos o construir aplicaciones de transmisión desde cero mediante SQL.
En este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.