Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 레이크, 데이터 스토어 및 분석 서비스에 안정적으로 로드하는 가장 쉬운 방법입니다. Amazon Kinesis Data Firehose는 스트리밍 데이터를 캡처하고 변환하고 Amazon S3, Amazon Redshift, Amazon OpenSearch Service(Amazon Elasticsearch Service의 후속), 일반 HTTP 엔드포인트 및 Datadog, New Relic, MongoDB, Splunk와 같은 서비스 공급자로 전송할 수 있습니다. Amazon Kinesis Data Firehose는 데이터 처리량에 맞춰 자동으로 크기가 조정되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다. 또한, 데이터 스트림을 로드하기 전에 배치 처리, 압축, 변환 및 암호화하여 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다.
AWS Management Console에서 Firehose 전송 스트림을 손쉽게 생성하고, 클릭 몇 번으로 구성한 다음, 수십만 개의 데이터 원본에서 지정 대상으로 스트리밍 데이터를 수집하기 시작할 수 있습니다. 또한 데이터가 전송되기 전에 수신 데이터를 Apache Parquet 및 Apache ORC와 같은 개방형 표준 기반 형식으로 자동으로 변환하도록 데이터 스트림을 구성할 수도 있습니다.
Amazon Kinesis Data Firehose에는 최소 요금이나 설치 비용이 들지 않습니다. 서비스를 통해 전송하는 데이터 양에 대한 비용을 지불하며, 해당하는 경우 데이터 형식 변환, Amazon VPC 전송 및 데이터 전송에 대한 비용도 지불합니다.
이점
사용 편의성
Amazon Kinesis Data Firehose는 AWS Management Console에서 클릭 몇 번으로 스트리밍 데이터를 캡처, 변환 및 로드할 수 있는 간편한 방법을 제공합니다. Firehose 전송 스트림을 신속하게 생성하고, 대상을 선택한 다음, 수십만 개의 데이터 원본에서 동시에 실시간 데이터 전송을 시작할 수 있습니다. 또한, 지정한 간격에 따라 데이터를 대상으로 지속적으로 로드하는 데 필요한 확장, 샤딩, 모니터링 등과 같은 스트림 관리를 제공합니다.
AWS 서비스 및 서비스 공급업체와 통합
서버리스 기본 데이터 변환
Kinesis Data Firehose를 사용하면 스트리밍 데이터가 데이터 스토어로 로드되기 전에 미리 준비할 수 있습니다. 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 원본의 원시 스트리밍 데이터를 Apache Parquet, Apache ORC 등의 형식으로 손쉽게 변환할 수 있습니다. 또한 ‘customer_id’ 또는 ‘transaction_id’와 같은 정적 또는 동적으로 정의된 키를 사용하여 스트리밍 데이터를 S3에 전달하기 전에 이러한 데이터를 동적으로 분할하고 이러한 키별로 그룹화한 데이터를 고유의 S3 접두사로 전달하므로, 사용자는 Athena, EMR 및 Redshift Spectrum을 사용하여 S3에서 고성능의 비용 효율적인 분석을 더욱 수월하게 수행할 수 있습니다. 자세히 알아보기 »
거의 실시간
Amazon Kinesis Data Firehose는 데이터를 거의 실시간으로 캡처 및 로드합니다. 데이터가 이 서비스로 전송된 후 60초 이내에 새로운 데이터를 대상으로 로드합니다. 따라서 새로운 데이터에 더 빨리 액세스하여 비즈니스 및 운영 이벤트에 더 신속하게 대응할 수 있습니다.
지속적인 관리 불필요
Amazon Kinesis Data Firehose는 스트리밍 데이터를 처리하고 로드하는 데 필요한 컴퓨팅, 메모리 및 네트워크 리소스를 자동으로 프로비저닝, 관리 및 확장하는 완전관리형 서비스입니다. 설정이 완료되면 Kinesis Data Firehose가 데이터 스트림이 수신되는 대로 지속적으로 대상으로 로드합니다.
사용한 만큼만 비용 지불
Amazon Kinesis Data Firehose에서는 서비스를 통해 전송한 데이터 볼륨에 대해서만 비용을 지불하며, 해당하는 경우에는 데이터 형식 변환 비용이 추가됩니다. 또한 해당하는 경우 Amazon VPC 전송 및 데이터 전송 요금도 지불합니다. 최소 요금이나 사전 약정은 없습니다.
작동 방식
사용 사례
Amazon Kinesis Data Firehose는 지속적인 관리가 필요 없는 완전관리형 서비스입니다. Kinesis Data Firehose는 데이터를 원본에서 대상으로 스트리밍하는 데 필요한 모든 기본 인프라, 스토리지, 네트워킹 및 구성을 관리합니다. 다음은 고객이 Amazon Kinesis Data Firehose를 사용하여 해결하는 주요 사용 사례의 예입니다.
데이터 레이크 및 데이터 웨어하우스로의 데이터 스트리밍
Kinesis Data Firehose에서는 데이터 레이크 및 데이터 웨어하우스를 기반으로 Amazon S3에 고용량 데이터를 수집할 수 있습니다. 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터를 대상 데이터 스토어에서 요구하는 형식(Apache Parquet, Apache ORC 등)으로 변환하도록 Kinesis Data Firehose를 구성할 수 있습니다. 또한 ‘customer_id’ 또는 ‘transaction_id’와 같이 잘 정의된 키를 사용하여 스트리밍 데이터를 동적으로 분할합니다. Kinesis Data Firehose는 이러한 키별로 데이터를 그룹화하고 키 고유의 S3 접두사로 전달하므로, 사용자는 Athena, EMR 및 Redshift Spectrum을 사용하여 S3에서 고성능의 비용 효율적인 분석을 더욱 수월하게 수행할 수 있습니다.
Machine Learning 스트리밍 애플리케이션
Kinesis Data Firehose를 사용하여 기계 학습(ML) 스트리밍 애플리케이션을 구축할 수 있습니다. Kinesis Data Firehose의 변형 Lambda 기능으로 분석용 ML 모델, 예측용 ML 추론 엔드포인트를 호출하여 대상에 전송되는 데이터 스트림을 보강할 수 있습니다.
로그 및 IoT Analytics
Amazon Kinesis Data Firehose를 사용하면 가전제품, 내장형 센서, TV 셋톱 박스 등과 같은 커넥티드 디바이스의 데이터를 지속적으로 캡처할 수 있습니다. Amazon Kinesis Data Firehose는 데이터를 지정된 대상에 로드하여 지표, 인사이트 및 대시보드에 대한 거의 실시간 액세스할 수 있도록 지원합니다. 로그 데이터를 수집, 모니터링 및 분석함으로써 애플리케이션 오류가 발생하는 대로 이를 탐지하고 근본 원인을 식별할 수도 있습니다. 서버에 Amazon Kinesis 에이전트를 손쉽게 설치 및 구성하여 자동으로 애플리케이션과 서버 로그 파일을 감시하고 해당 데이터를 Kinesis Data Firehose로 전송할 수 있습니다. Kinesis Data Firehose는 로그 데이터를 대상으로 지속적으로 스트리밍하므로 해당 데이터를 시각화하고 분석할 수 있습니다.
보안 모니터링
Kinesis Data Firehose는 대상으로 Splunk와 같은 몇몇 보안 정보 및 이벤트 관리(SIEM) 도구를 지원합니다. 즉, 네트워크 트래픽 흐름 로그를 캡처하여 Kinesis Data Firehose로 전송할 수 있으며 그러면 Kinesis Data Firehose에서 데이터를 변환하고 보강하여 Splunk로 로드할 수 있습니다. 이 솔루션을 사용하면 실시간으로 네트워크 보안을 모니터링하고 잠재적 위협이 발생할 때 알릴 수 있습니다.
사례 연구
Amazon Kinesis Data Firehose 기능에 대해 자세히 알아보십시오
