Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable les données de streaming dans des lacs de données, des magasins de données et des services d'analytique. Il peut capturer, transformer et diffuser des données de streaming vers Amazon S3, Amazon Redshift, Amazon OpenSearch Service (successeur d'Amazon Elasticsearch Service), des points de terminaison HTTP génériques et des fournisseurs de services tels que Datadog, New Relic, MongoDB et Splunk. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser, transformer et chiffrer vos flux de données avant de les charger, ce qui réduit l'espace de stockage utilisé et renforce la sécurité.
Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à ingérer des données de streaming depuis des centaines de milliers de sources de données vers vos emplacements de destination spécifiés. Vous pouvez également configurer vos flux de données afin de convertir automatiquement les données entrantes dans des formats ouverts et standard comme Apache Parquet et Apache ORC avant leur diffusion.
Avec Amazon Kinesis Data Firehose, il n'y a pas de frais minimums ni de coûts d'installation. Vous payez le volume de données que vous transférez via le service, au besoin, pour la conversion des formats de données, ainsi que la diffusion Amazon VPC et le transfert de données.
Avantages
Simple d'utilisation
Amazon Kinesis Data Firehose permet de capturer, transformer et charger en toute simplicité des données de streaming en quelques clics dans AWS Management Console. Vous pouvez rapidement créer un flux de diffusion Firehose et sélectionner les emplacements de destination, puis commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de mise à l'échelle, de partitionnement et de surveillance requises pour charger les données continuellement dans les emplacements de destination, à la fréquence que vous spécifiez.
Intégration avec les services AWS et les fournisseurs de services
Amazon Kinesis Data Firehose est intégré à Amazon S3, Amazon Redshift et Amazon OpenSearch Service. Il peut également diffuser les données vers des points de terminaison HTTP génériques et directement vers des fournisseurs de services, par exemple Datadog, New Relic, MongoDB et Splunk. À partir de la Console de gestion AWS, vous pouvez diriger Kinesis Data Firehose vers les destinations de votre choix et utiliser vos applications et outils existants pour analyser les données de streaming.
Transformation de données intégrées sans serveur
Kinesis Data Firehose vous permet de préparer vos données de streaming avant leur chargement dans des dépôts de données. Vous pouvez facilement convertir les données de streaming brutes provenant de vos sources de données vers des formats tels Apache Parquet et Apache ORC, sans avoir à créer vos propres pipelines de traitement de données. Vous pouvez également partitionner dynamiquement vos données de streaming avant la livraison à S3 à l'aide de clés statiques ou définies de manière dynamique telles que « customer_id » ou « transaction_id », et fournir des données groupées par ces clés dans des préfixes S3 uniques, ce qui vous permet d'effectuer plus facilement dans S3 des analytiques de haute performance et à moindre coût, à l'aide d'Athena, EMR et Redshift Spectrum. En savoir plus »
Quasi-temps réel
Amazon Kinesis Data Firehose capture et charge les données quasiment en temps réel. Il charge les nouvelles données dans vos emplacements de destination dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.
Aucune administration continue
Amazon Kinesis Data Firehose est un service entièrement géré qui alloue, gère et met à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau nécessaires pour traiter et charger vos données de streaming. Une fois configuré, Kinesis Data Firehose charge continuellement les flux de données dans vos emplacements de destination au fil de leur arrivée.
Paiement en fonction de l'utilisation
Avec Amazon Kinesis Data Firehose, vous ne payez que la quantité de données que vous transmettez via le service et, le cas échéant, les conversions de formats des données. Vous payez également la diffusion Amazon VPC et le transfert des données lorsque cela s'applique. Il n'y a ni frais minimums ni engagements initiaux.
Principe de fonctionnement
Cas d'utilisation
Amazon Kinesis Data Firehose est un service entièrement géré, sans administration continue requise. Kinesis Data Firehose gère l'ensemble de l'infrastructure sous-jacente, le stockage, les réseaux et la configuration qui sont nécessaires pour diffuser vos données de votre source à votre destination. Vous trouverez ci-dessous des cas d'utilisation clés que nos clients réussissent à gérer grâce à Amazon Kinesis Data Firehose.
Diffusion de données dans les lacs et entrepôts de données
Kinesis Data Firehose permet l'intégration de grands volumes de données dans votre lac de données et votre entrepôt de données basés sur Amazon S3. Vous pouvez configurer Kinesis Data Firehose pour convertir vos données dans des formats tels qu'Apache Parquet et Apache ORC requis par vos dépôts de données de destination, sans avoir à créer vos propres pipelines de traitement de données. Vous pouvez également partitionner dynamiquement vos données de streaming à l'aide de clés bien définies telles que « customer_id » ou « transaction_id ». Kinesis Data Firehose regroupe les données par ces clés et les livre dans des préfixes S3 uniques, ce qui vous permet d'effectuer plus facilement des analytiques dans S3 de haute performance et à moindre coût, à l'aide d'Athena, EMR et Redshift Spectrum.
Applications de Machine Learning de streaming
Vous pouvez créer des applications de Machine Learning (ML) de streaming avec Kinesis Data Firehose. Les fonctions de transformation lambda de Kinesis Data Firehose peuvent faire appel à des modèles ML pour analyser, des points de terminaison d'inférence ML pour effectuer des prédictions afin d'enrichir vos flux de données au fur et à mesure qu'ils sont transmis à votre destination.
Journalisation et IoT Analytics
Avec Amazon Kinesis Data Firehose, vous pouvez capturer en continu les données provenant de dispositifs connectés tels que les appareils grand public, les capteurs intégrés et les décodeurs TV. Kinesis Data Firehose charge les données dans les emplacements de destination que vous spécifiez, offrant ainsi un accès aux métriques, informations et tableaux de bord quasiment en temps réel. Vous pouvez détecter les erreurs d'applications lorsqu'elles se produisent et identifier la cause racine en collectant, contrôlant et analysant les données de journaux. Vous pouvez facilement installer et configurer l'agent Amazon Kinesis sur vos serveurs pour voir automatiquement les fichiers journaux des applications et serveurs et envoyer les données vers Kinesis Data Firehose. Kinesis Data Firehose diffuse en continu les données de journaux vers vos emplacements de destination, ce qui vous permet de les visualiser et de les analyser.
Surveillance de la sécurité
Kinesis Data Firehose prend en charge plusieurs outils de gestion des informations et des événements de sécurité (SIEM) comme Splunk en tant que destination. Cela signifie que vous pouvez capturer des journaux de flux de trafic réseau et les envoyer à Kinesis Data Firehose, qui peut transformer, enrichir et charger les données dans Splunk. Avec cette solution, vous pouvez surveiller la sécurité du réseau en temps réel et savoir lorsqu'une menace potentielle se dessine.
Études de cas
Démarrer avec Amazon Kinesis Data Firehose
En savoir plus sur Kinesis Data Firehose grâce au guide du développeur.
Obtenez de l'expérience pratique avec ce didacticiel.
En savoir plus sur les fonctions d'Amazon Kinesis Data Firehose
