Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析服务中的最简单方式。该服务可以捕获和转换流数据并将其传输给 Amazon S3、Amazon Redshift、Amazon OpenSearch Service（接替 Amazon Elasticsearch Service）、通用 HTTP 终端节点和服务提供商（如 Datadog、New Relic、MongoDB 和 Splunk）。这是一项完全托管的服务，会自动扩展以匹配数据吞吐量，并且无需持续管理。该服务还可以在加载数据前对其进行批处理、压缩、转换和加密，从而最大程度地减少所用存储量，同时提高安全性。
您可以从 AWS 管理控制台轻松创建 Firehose 传输流，通过单击几下鼠标对其进行配置，然后开始将流数据从数十万个数据源摄取到您指定的目标。您还可以配置数据流，以便自动将传入数据转换为基于标准的开放格式（如 Apache Parquet 和 Apache ORC），然后再传输这些数据。
使用 Amazon Kinesis Data Firehose，无最低消费和设置费用。您需要按通过该服务传输的数据量付费，并支付适用的数据格式转换费用以及 Amazon VPC 交付和数据传输费用。
优势
易于使用
使用 Amazon Kinesis Data Firehose，您只需在 AWS 管理控制台中单击几下鼠标，即可轻松捕获、转换和加载流数据。您可以快速创建 Firehose 传输流，选择目标，然后开始同时发送来自数十万个数据源的实时数据。该服务会处理按照您指定的间隔将数据持续加载到目标所需进行的数据流管理工作，包括所有扩展、分片和监控事宜。
已与 AWS 服务和服务提供商集成
无服务器内置数据转换
您可以通过 Kinesis Data Firehose 来准备串流数据，然后再将其加载到数据存储中。您可以轻松地将来自数据源的原始串流数据转换为 Apache Parquet 和 Apache ORC 等格式，无需构建自己的数据处理管道。您还可以使用静态或动态定义的键（如“customer_id”或“transaction_id”）在交付到 S3 之前动态划分串流数据，并将按这些键分组的数据交付到唯一的 S3 前缀中，使您更容易使用 Athena、EMR 和 Redshift Spectrum 在 S3 中执行高性能、成本高效的分析。了解详情 »
近乎实时
Amazon Kinesis Data Firehose 会近乎实时地捕获和加载数据，并在收到新数据后的 60 秒内将其加载到目标中。因此，您可以更快访问新数据，更加迅速地对业务和运营事件作出反应。
无需持续管理
Amazon Kinesis Data Firehose 是一项完全托管的服务，会自动预置、管理和扩展处理和加载流数据所需的计算、内存和网络资源。一旦设置，Kinesis Data Firehose 会在收到数据流时持续将其加载到目标中。
仅按实际用量付费
使用 Amazon Kinesis Data Firehose，您只需按通过该服务传输的数据量付费，并支付适用的数据格式转换费用。您还需要支付适用的 Amazon VPC 交付和数据传输费用。无最低消费和预付费用。
工作原理
使用案例
Amazon Kinesis Data Firehose 是一项完全托管式服务，无需进行日常管理。Kinesis Data Firehose 能够管理将您的数据从源流式传输到目标的所有底层基础设施、存储、联网和配置。下面是我们的客户使用 Amazon Kinesis Data Firehose 解决的主要使用案例的示例。
数据流入数据湖和数据仓库
Kinesis Data Firehose 可将大量数据摄入到基于 Amazon S3 的数据湖和数据仓库中。您可以配置 Kinesis Data Firehose，将数据转换为目标数据存储所需的格式（如 Apache Parquet 和 Apache ORC），无需构建自己的数据处理管道。您还可以使用定义良好的键（如“customer_id”或“transaction_id”）动态划分串流数据。Kinesis Data Firehose 通过这些键对数据进行分组，并交付到键唯一的 S3 前缀中，使您能够更轻松地使用 Athena、EMR 和 Redshift Spectrum 在 S3 中执行高性能、成本高效的分析。
串流 Machine Learning 应用程序
您可以使用 Kinesis Data Firehose 构建串流机器学习（ML）应用程序。Kinesis Data Firehose 中的转换 lambda 功能可以调用机器学习（ML）模型进行分析，调用机器学习（ML）推断端点进行预测，以在交付到目标时丰富数据流。
日志和 IoT Analytics
借助 Amazon Kinesis Data Firehose，您可以持续从消费类家电、嵌入式传感器和电视机顶盒等互联设备中捕获数据。Kinesis Data Firehose 会将数据加载到您指定的目标中，让您能够近乎实时地访问指标、洞察和控制面板。您还可以在应用程序错误发生时检测到它们，并通过收集、监控和分析日志数据来确定根本原因。您可以轻松地在服务器上安装和配置 Amazon Kinesis Agent，从而自动监控应用程序和服务器日志文件，并将数据发送到 Kinesis Data Firehose。Kinesis Data Firehose 会持续将日志数据流式处理到目标，以便您直观查看和分析数据。
安全监控
Kinesis Data Firehose 支持多个安全信息和事件管理 (SIEM) 工具（如 Splunk）作为目标。这意味着您可以捕获网络流量流日志并将其发送到 Kinesis Data Firehose，然后，Kinesis Data Firehose 会转换、补充数据并将其加载到 Splunk。借助该解决方案，您可以实时监控网络安全，并在出现潜在威胁时发出警报。
