Integración de datos con AWS

Sus datos proceden de múltiples orígenes y en diversos formatos: aplicaciones alojadas de terceros, almacenes de datos locales y almacenes de datos operativos. Los servicios de AWS se conectan a cientos de orígenes de datos, incluido el software como servicio (SaaS) de terceros, en las instalaciones y otras nubes. Una vez que haya conectado o trasladado datos a lagos de datos, almacenamientos y bases de datos, puede hacer que estén disponibles de forma segura en toda la organización.

AWS Glue, uno de los muchos servicios de integración de datos de AWS, consolida las principales capacidades de integración de datos en un solo lugar, incluidos descubrimiento, extracción, transformación y carga (ETL) de datos, limpieza, transformación y catalogación centralizada. Se trata de un servicio sin servidor que puede aprovisionar y administrar trabajadores automáticamente según sea necesario.

AWS proporciona herramientas que satisfacen las necesidades de ingenieros de datos, desarrolladores ETL y analistas empresariales, ayudando a usuarios de todos los niveles técnicos a explorar y trabajar con sus datos de forma interactiva. Puede transformar datos visualmente con una interfaz de arrastrar y soltar en AWS Glue Studio, limpiar y normalizar datos con la herramienta de preparación de datos AWS Glue DataBrew y probar datos con su entorno de desarrollo integrado (IDE) o cuaderno preferido.

A menudo, las organizaciones deben admitir diversos marcos de procesamiento de datos, como ETL, ETL inverso y extracción, carga y transformación (ELT), así como diferentes cargas de trabajo, como lotes, microlotes y streaming. AWS proporciona compatibilidad flexible con todos los marcos de trabajo y cargas de trabajo, y permite la portabilidad gracias a los estándares de código abierto.

AWS le ayuda a obtener acceso a los datos e integrarlos desde cualquier lugar donde los almacene, lo que permite a los equipos de integración de datos centrarse en actividades de alto valor que maximizan el valor de los datos.

AWS Glue facilita el descubrimiento, la preparación y la integración de todos los datos a cualquier escala. AWS Database Migration Service ayuda a trasladar cargas de trabajo de bases de datos y análisis a AWS de forma rápida, segura, con un tiempo de inactividad mínimo y sin pérdida de datos. Amazon Managed Workflows para Apache Airflow (MWAA) proporciona orquestación de flujos de trabajo administrados segura y de alta disponibilidad para Apache Airflow. AWS Data Exchange conecta con datos de terceros de más de 300 proveedores de datos y más de 3500 productos de datos.

En casos de uso complejos en los que necesita transformar, normalizar, comprobar la calidad de los datos antes de ingestarlos desde un almacén de datos sin procesar o reducir las columnas, filas o el tamaño de los datos de una tabla, AWS Glue le facilita la preparación e integración de los datos.

En casos de uso comunes en los que ETL se repite con regularidad, puede utilizar las capacidades Zero-ETL de AWS, que eliminan la necesidad de crear y administrar canalizaciones ETL. Gracias a las capacidades de Zero-ETL de AWS, puede ingerir directamente datos de streaming de Amazon Managed Streaming para Apache Kafka en Amazon Redshift, analizar datos de Amazon Aurora con Amazon Redshift casi en tiempo real y mucho más.

Los usuarios de la empresa tienen distintas capacidades técnicas para interactuar con los datos y es posible que no puedan hacerlo sin las herramientas adecuadas.

AWS proporciona interfaces específicas de habilidades y herramientas de creación de trabajos para todo tipo de usuarios, desde desarrolladores hasta usuarios empresariales. AWS Glue Studio genera automáticamente código ETL y permite a los desarrolladores de ETL y a los analistas empresariales transformar datos con una interfaz sin código. AWS Glue también permite a los desarrolladores e ingenieros utilizar su IDE, bloc de notas y motores de procesamiento preferidos. Amazon Managed Workflows para Apache Airflow permite a científicos e ingenieros orquestar canalizaciones de datos integrales.

AWS ofrece soporte para varias cargas de trabajo sin bloqueo.

AWS Glue Studio le ayuda a crear trabajos ETL altamente escalables sin necesidad de convertirse en un experto en Apache Spark, y a cargar datos estructurados y no estructurados en almacenamientos y lagos de datos. Amazon Managed Streaming para Apache Kafka (MSK) y Amazon Kinesis facilitan la ingesta y el procesamiento de datos de streaming en tiempo real. Otras cargas de trabajo habituales son la transformación de datos por lotes, la replicación de bases de datos, la ingesta de datos desde SaaS, el uso compartido de datos entre equipos y la suscripción a datos de terceros.