Amazon Kinesis Data Firehose

リアルタイムのデータストリームを準備し、データストアや分析サービスにロード

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクやデータストア、分析サービスに確実にロードする最も簡単な方法を提供するサービスです。ストリーミングデータを取り込んで変換し、Amazon S3、Amazon Redshift、Amazon OpenSearch Service (Amazon Elasticsearch Service の後継サービス)、汎用 HTTP エンドポイント、さらに Datadog、New Relic、MongoDB、Splunk のようなサービスプロバイダーに配信できます。フルマネージドサービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータストリームのバッチ処理、圧縮、変換、暗号化が行われるため、使用されるストレージの量を最小限に抑え、セキュリティを強化できます。

AWS マネジメントコンソールから Firehose の配信ストリームを簡単に作成し、数回のクリックで設定を行い、数十万のデータソースから指定した送信先へのストリーミングデータの取り込みを開始できます。また、受信データが配信される前に Apache Parquet や Apache ORC などのオープンで標準ベースの形式に自動的に変換されるようにデータストリームを設定できます。

Amazon Kinesis Data Firehose には、最低料金も初期費用もありません。サービスを使用して送信したデータ量、該当する場合はデータ形式の変換、Amazon VPC 配信とデータ転送に対してのみ料金が発生します。

PoC (概念実証) または評価に関するサポートをリクエスト »

Amazon Kinesis Data Firehose の紹介 (日本語字幕) (1:45)

利点

使いやすさ

Amazon Kinesis Data Firehose を使用すると、AWS マネジメントコンソールからわずか数回のクリックで、簡単にストリーミングデータをキャプチャ、変換、ロードできます。Firehose の配信ストリームをすばやく作成し、ロード先を選択するだけで、数十万のデータソースから同時にリアルタイムデータの送信を開始できます。このサービスでは、スケーリング、シャーディング、モニタリングなど、データを指定された間隔で継続的に送信先にロードするためのストリーム管理全般が提供されます。

AWS のサービスとサービスプロバイダーと統合

Amazon Kinesis Data Firehose は Amazon S3、Amazon Redshift、Amazon OpenSearch Service と統合されています。汎用 HTTP エンドポイントや、Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーに直接データを配信することもできます。AWS マネジメントコンソールから、Kinesis Data Firehose の任意のロード先を指定したり、既存のアプリケーションとツールを使用してストリーミングデータを分析したりできます。

サーバーレスの組み込みデータ変換

Kinesis Data Firehose では、データストアにデータをロードする前にストリーミングデータを準備できます。データソースからの raw ストリーミングデータを、Apache Parquet、Apache ORC などの形式に簡単に変換できます。独自のデータ処理パイプラインを構築する必要はありません。また、S3 に配信する前に、[customer_id] や [transaction_id] などの静的または動的に定義されたキーを使用してストリーミングデータを動的にパーティショニングし、これらのキーでグループ化されたデータを固有の S3 プレフィックスに配信することができるため、Athena、EMR、Redshift Spectrum を使用して S3 でハイパフォーマンスかつコスト効率の高い分析を容易に行うことができます。詳細はこちら »

ほぼリアルタイム

Amazon Kinesis Data Firehose では、ほぼリアルタイムでデータのキャプチャやロードが行われます。このサービスでは、新しいデータが Amazon Kinesis Firehose に送信されてから 60 秒以内に、送信先にロードされます。そのため、新しいデータを短時間で入手し、ビジネスや運用に関係する状況に迅速に対応できます。

継続的な管理が不要

Amazon Kinesis Data Firehose は、ストリーミングデータの処理やロードに必要なコンピューティング、メモリ、ネットワークリソースのプロビジョニング、管理、スケーリングが自動的に実行されるフルマネージドサービスです。一度設定が完了すると、Kinesis Data Firehose に送信されたデータストリームは継続的に送信先にロードされます。

支払いは実際に使用した分のみ

Amazon Kinesis Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。該当する場合、Amazon VPC 配信およびデータ転送に対しても料金が発生します。最低料金や前払いの義務はありません。

仕組み

ユースケース

Amazon Kinesis Data Firehose は、フルマネージドサービスであり、継続的な管理は必要ありません。Kinesis Data Firehose は、データをソースから送信先にストリーミングするのに必要な基盤となるインフラストラクチャ、ストレージ、ネットワーク、設定すべてを管理します。以下に、お客様が実際に Amazon Kinesis Data Firehose を利用している主なユースケースの例をご紹介します。

データレイクとデータウェアハウスへのデータストリーミング

Kinesis Data Firehose では、Amazon S3 ベースのデータレイクやデータウェアハウスへの大容量データの取り込みをすることはできます。Kinesis Data Firehose を設定することで、データを送信先のデータストアで必要な形式 (Apache Parquet、Apache ORC など) に変換できます。独自のデータ処理パイプラインを構築する必要はありません。[customer_id] や [transaction_id] などの定義されたキーを使用して、ストリーミングデータを動的にパーティションすることもできます。Kinesis Data Firehose は、これらのキーによってデータをグループ化し、キーに固有の S3 プレフィックスに配信することで、Athena、EMR、Redshift Spectrum を使用した S3 でのハイパフォーマンスでコスト効率の高い分析を容易に行うことができます。

Machine Learning アプリケーションのストリーミング

Kinesis Data Firehose を使用して、Machine Learning (ML) アプリケーションのストリーミングを構築できます。Kinesis Data Firehose の変換 Lambda 関数は、分析のための ML モデル、予測のための ML 推論エンドポイントを呼び出し、送信先のデータストリームを充実させることができます。

ログと IoT Analytics

Amazon Kinesis Data Firehose では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといったコネクテッドデバイスから継続的にデータをキャプチャできます。Kinesis Data Firehose ではデータが指定の送信先にロードされるため、ほぼリアルタイムでメトリクス、インサイト、ダッシュボードにアクセスできます。アプリケーションエラーが発生するときをとらえて、ログデータを収集、モニタリング、分析し、根本原因を特定できます。Amazon Kinesis Agent はお使いのサーバーに容易にインストール、設定でき、アプリケーションとサーバーログファイルを自動的に監視して、データを Kinesis Data Firehose に送信します。Kinesis Data Firehose ではログデータを継続的に送信先にストリーミングするので、データを可視化、分析できます。

セキュリティモニタリング

Kinesis Data Firehose は、Splunk のような複数のセキュリティ情報とイベント管理 (SIEM) ツールを送信先としてサポートしています。これにより、ネットワークのトラフィックフローログをキャプチャし、Kinesis Data Firehose に送信します。データはここで変換、強化され、Splunk にロードされます。このソリューションでは、ネットワークのセキュリティをリアルタイムでモニタリングでき、脅威となる可能性があるものが発生するとアラートを通知できます。