Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose ofrece la manera más sencilla para cargar datos de streaming de manera confiable en lagos de datos, almacenes de datos y servicios de análisis. Puede registrar, transformar y entregar datos de streaming en Amazon S3, Amazon Redshift, Amazon OpenSearch Service (sucesor de Amazon Elasticsearch Service), puntos de enlace HTTP genéricos y proveedores de servicios como Datadog, New Relic, MongoDB y Splunk. Se trata de un servicio completamente administrado cuya capacidad se ajusta automáticamente para adaptarse al nivel de rendimiento de los datos y que no necesita administración permanente. También puede procesar por lotes, comprimir, transformar y cifrar las transmisiones de datos antes de cargarlas a fin de minimizar el volumen de almacenamiento utilizado y aumentar el nivel de seguridad.
Puede crear fácilmente una transmisión de entrega de Firehose en la consola de administración de AWS, configurarla con unos pocos clics y comenzar a incorporar datos de streaming a partir de cientos de miles de orígenes de datos en los destinos especificados. También puede configurar las transmisiones de datos para convertir automáticamente los datos entrantes en formatos abiertos basados en estándares, tales como Apache Parquet y Apache ORC, antes de que los datos se entreguen.
Con Amazon Kinesis Data Firehose, no se pagan tarifas mínimas ni costos de configuración. Se paga por el volumen de datos transmitido mediante el servicio, si corresponde, a fin de convertir su formato, y de entregarlos y transferirlos a Amazon VPC.
Beneficios
Facilidad de uso
Amazon Kinesis Data Firehose ofrece un modo sencillo para registrar, transformar y cargar datos de streaming con solo hacer unos clics en la consola de administración de AWS. Puede crear rápidamente una transmisión de entrega de Firehose, seleccionar los destinos y comenzar a enviar datos generados en tiempo real desde cientos de miles de orígenes de datos de manera simultánea. El servicio se encarga de administrar las transmisiones, incluidas las tareas de escalado, partición y monitorización necesarias para cargar los datos continuamente en los destinos con la frecuencia que especifique.
Integración con servicios de AWS y de proveedores
Amazon Kinesis Data Firehose se integra en Amazon S3, Amazon Redshift y Amazon OpenSearch Service. También puede entregar datos en puntos de enlace HTTP genéricos y directamente en proveedores de servicios como Datadog, New Relic, MongoDB y Splunk. En la consola de administración de AWS puede direccionar Kinesis Data Firehose hacia los destinos de su preferencia y usar las aplicaciones y herramientas existentes para analizar los datos de streaming.
Transformación de datos sin servidor incorporada
Kinesis Data Firehose permite preparar los datos de streaming antes de cargarlos en los almacenes de datos. Puede convertir fácilmente datos de streaming sin procesar de las fuentes de datos en formatos como Apache Parquet y Apache ORC, sin necesidad de crear canalizaciones de procesamiento de datos propias. También puede particionar dinámicamente sus datos en streaming antes de la entrega a S3 mediante claves definidas de forma estática o dinámica como "customer_id" o "transaction_id" y entregar los datos agrupados por esas claves en prefijos de S3 únicos, lo que le facilita la ejecución de análisis de alto rendimiento y rentables en S3 mediante Athena, EMR y Redshift Spectrum. Más información »
Casi en tiempo real
Amazon Kinesis Data Firehose registra y carga datos casi en tiempo real. Carga datos nuevos en los destinos 60 segundos después de que los datos se envían al servicio. Gracias a esto, se puede acceder a los datos nuevos antes y responder a los eventos empresariales y operativos con mayor rapidez.
Sin administración permanente
Amazon Kinesis Data Firehose es un servicio completamente administrado que, de forma automática, aprovisiona, administra y escala los recursos de cómputo, memoria y red necesarios para procesar y cargar los datos de streaming. Una vez configurado, Kinesis Data Firehose carga las transmisiones de datos en los destinos de manera continua a medida que se reciben.
Pague solo por lo que utilice
Con Amazon Kinesis Data Firehose, solo paga por el volumen de datos que transmite a través del servicio y, si corresponde, por la conversión de formato de los datos. También pagará por la entrega y la transferencia de datos a Amazon VPC cuando corresponda. No se requieren tarifas mínimas ni compromisos iniciales.
Funcionamiento
Casos de uso
Amazon Kinesis Data Firehose es un servicio completamente administrado, sin necesidad de administración continua. Kinesis Firehose administra toda la infraestructura subyacente, el almacenamiento, las redes y la configuración necesarios para transmitir sus datos de su fuente a su destino. A continuación, se presentan ejemplos de casos de uso claves que nuestros clientes resuelven con Amazon Kinesis Data Firehose.
Flujo de datos en un lago de datos y almacenamiento de datos
Kinesis Data Firehose permite una ingesta de datos de gran volumen a su lago de datos y almacenamiento de datos basado en Amazon S3. Puede configurar Kinesis Data Firehose para convertir fácilmente datos en los formatos requeridos por sus almacenes de datos de destino, como Apache Parquet y Apache ORC, sin necesidad de crear canalizaciones de procesamiento de datos propias. También puede particionar dinámicamente sus datos en streaming mediante claves bien definidas como "customer_id" o "transaction_id". Kinesis Data Firehose agrupa los datos según estas claves y realiza la entrega en prefijos S3 con una clave única, lo que le facilita la ejecución de análisis de alto rendimiento y rentables en S3 mediante Athena, EMR y Redshift Spectrum.
Aplicaciones de machine learning de streaming
Puede crear aplicaciones de machine learning (ML) con Kinesis Data Firehose. La característica de lambda de transformación en Kinesis Data Firehose puede llamar a modelos de ML para obtener análisis y puntos de enlace de inferencia de ML para obtener predicciones para enriquecer sus flujos de datos al entregarlos a su destino.
Registro e IoT Analytics
Con Amazon Kinesis Data Firehose, puede registrar de manera continua datos provenientes de dispositivos conectados, tales como aplicaciones de consumidor, sensores integrados y descodificadores de televisión. Kinesis Data Firehose carga los datos en los destinos que especifique, lo que ofrece acceso casi en tiempo real a las métricas, la información y los paneles. También puede detectar errores en las aplicaciones en el momento en el que ocurren e identificar la causa raíz mediante la recopilación, la monitorización y el análisis de datos de registros. Puede instalar y configurar fácilmente el agente de Amazon Kinesis en sus servidores para mirar de manera automática los archivos de registro de servidores y aplicaciones, y para enviar los datos a Kinesis Data Firehose. Kinesis Data Firehose transmite de manera continua los datos de los registros a los destinos especificados para que pueda visualizarlos y analizarlos.
Monitoreo de la seguridad
Kinesis Data Firehose es compatible con varias herramientas de información de seguridad y administración de eventos (SIEM) como Splunk como destino. Esto significa que puede registrar y enviar registros de flujo de tráfico de red a Kinesis Data Firehose, que puede transformar, completar y cargar los datos a Splunk. Con esta solución, puede monitorizar la seguridad de la red en tiempo real y generar alertas cuando surjan posibles amenazas.
Casos prácticos
Publicaciones del blog
Introducción a Amazon Kinesis Data Firehose
Obtenga más información sobre Kinesis Data Firehose en la guía para desarrolladores.
Obtenga acceso instantáneo a la capa gratuita de AWS.
Obtenga más información sobre las características de Amazon Kinesis Data Firehose
