Visão geral
A solução de dados de transmissão para o Amazon Kinesis vem com quatro opções de implantação e os modelos do AWS CloudFormation que são configurados para aplicar as melhores práticas de transmissão de dados, incluindo monitoramento de dados por meio de painéis e alarmes, bem como segurança de dados.
Os dados de transmissão devem ser capturados de forma duradoura por um armazenamento altamente escalável que seja capaz de lidar com alto volume de dados dos produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando uma transmissão de dados continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes). Essa solução da AWS ajuda você a gerenciar, proteger, e armazenar uma grande variedade de transmissão de dados, como arquivos de log gerados por seus clientes usando aplicativos móveis ou da web. Ele também suporta transmissão de dados de compras de comércio eletrônico, atividades de jogadores no jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais e telemetria de dispositivos conectados ou instrumentação em data centers.
Benefícios
Detalhes técnicos
Você pode implantar essa arquitetura automaticamente usando o Guia de Implementação e os quatro modelos que acompanham o AWS CloudFormation.
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Clique para aumentarModelo do AWS CloudFormation usando o Amazon API Gateway e o AWS Lambda
Etapa 1
Uma API REST do Amazon API Gateway atua como proxy para o Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.Etapa 3
Kinesis Data Streams para armazenar as transmissões de dados recebidas.Etapa 4
Uma função do AWS Lambda processa os registros do fluxo de dados.Etapa 5
Erros e registros com falha que ocorrem durante o processamento do Lambda são anotados, e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS).
A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.
Etapa 1
Uma API REST do Amazon API Gateway atua como proxy para o Amazon Kinesis Data Streams, adicionando um registro de dados individual ou uma lista de registros de dados.Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode chamar os métodos da API REST.Etapa 3
Kinesis Data Streams para armazenar as transmissões de dados recebidas.Etapa 4
Uma função do AWS Lambda processa os registros do fluxo de dados.Etapa 5
Erros e registros com falha que ocorrem durante o processamento do Lambda são anotados, e os eventos são armazenados no Amazon Simple Queue Service (Amazon SQS).
A fila armazena metadados para registros de lote com falha e erros Lambda, permitindo que os clientes recuperem esses registros e determinem as próximas etapas para resolvê-los.
Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 2
-
Modelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Biblioteca do Produtor, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Clique para aumentarModelo do AWS CloudFormation usando o Amazon EC2, Amazon Kinesis Biblioteca do Produtor, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon CloudWatch
Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Biblioteca do Produtor(KPL) para gerar dados.Etapa 2
O Data Streams armazena o fluxo de dados de entrada.Etapa 3
O Amazon Managed Service for Apache Flink Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).Etapa 4
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Etapa 1
Uma instância do Amazon Elastic Compute Cloud (Amazon EC2) usa a Amazon Kinesis Biblioteca do Produtor(KPL) para gerar dados.Etapa 2
O Data Streams armazena o fluxo de dados de entrada.Etapa 3
O Amazon Managed Service for Apache Flink Studio processa os registros de entrada e salva os dados processados em um bucket do Amazon Simple Storage Service (Amazon S3).Etapa 4
Um painel do Amazon CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 3
-
Modelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Clique para aumentarModelo do AWS CloudFormation usando o Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Etapa 1
O Data Streams armazena os dados de transmissão recebidos.Etapa 2
O Amazon Kinesis Data Firehose coloca os dados em buffer antes de entregá-los a um bucket do Amazon S3. É um serviço totalmente gerenciado que escala automaticamente para acompanhar o throughput dos seus dados e não exige uma administração contínua.Etapa 3
Um painel do CloudWatch monitora a ingestão de dados e a colocação em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.Etapa 1
O Data Streams armazena os dados de transmissão recebidos.Etapa 2
O Amazon Kinesis Data Firehose coloca os dados em buffer antes de entregá-los a um bucket do Amazon S3. É um serviço totalmente gerenciado que escala automaticamente para acompanhar o throughput dos seus dados e não exige uma administração contínua.Etapa 3
Um painel do CloudWatch monitora a ingestão de dados e a colocação em buffer. Os alarmes do CloudWatch são definidos com base em métricas essenciais para o Kinesis Data Firehose.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 4
-
Modelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Clique para aumentarModelo do AWS CloudFormation usando Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink e Amazon API Gateway
Etapa 1
Uma instância do EC2 que usa KPL para gerar dados.Etapa 2
O Kinesis Data Streams armazena os dados de transmissão recebidos.Etapa 3
O Managed Service for Apache Flink processa os registros recebidos e invoca de forma assíncrona um endpoint externo.Etapa 4
A aplicação de demonstração invoca uma função do Lambda.Etapa 5
A API externa pode ser qualquer integração compatível com o API Gateway (por exemplo, um endpoint do Amazon SageMaker).Etapa 6
Um painel do CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Etapa 1
Uma instância do EC2 que usa KPL para gerar dados.Etapa 2
O Kinesis Data Streams armazena os dados de transmissão recebidos.Etapa 3
O Managed Service for Apache Flink processa os registros recebidos e invoca de forma assíncrona um endpoint externo.Etapa 4
A aplicação de demonstração invoca uma função do Lambda.Etapa 5
A API externa pode ser qualquer integração compatível com o API Gateway (por exemplo, um endpoint do Amazon SageMaker).Etapa 6
Um painel do CloudWatch monitora a integridade, o progresso e a utilização de recursos da aplicação, além de eventos e erros.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS
Conteúdo relacionado
Esta postagem descreve a arquitetura para obter inferência em tempo real sobre streaming de dados usando vários serviços da AWS. Também abrange a integração do Amazon Managed Service for Apache Flink para invocar de forma assíncrona serviços ou bancos de dados subjacentes.
Este é um curso introdutório sobre o Amazon Kinesis Analytics, que ajuda você a consultar dados em streaming ou criar aplicativos de streaming inteiros usando SQL.
Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.