Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose предоставляет простейший способ надежной загрузки данных потоковой передачи в озера данных, хранилища и сервисы аналитики. Этот сервис позволяет захватывать, преобразовывать и доставлять данные потоковой передачи в Amazon S3, Amazon Redshift, Amazon OpenSearch Service (преемник Amazon Elasticsearch Service), на общие HTTP‑адреса и поставщикам таких сервисов, как Datadog, New Relic, MongoDB и Splunk. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности потока данных и не требует постоянного администрирования. Amazon Kinesis Data Firehose позволяет создавать пакеты данных, а также сжимать, преобразовывать и шифровать потоки данных перед загрузкой, что сокращает объем используемой памяти и повышает уровень безопасности.
Всего за несколько минут с помощью Консоли управления AWS можно создать поток доставки данных Firehose и запустить передачу данных из сотен тысяч источников в указанные целевые объекты. Кроме того, в потоках данных можно настроить автоматическое преобразование входящих данных в открытые и основанные на стандартах форматы, такие как Apache Parquet и Apache ORC, перед доставкой.
В Amazon Kinesis Data Firehose не предусмотрена плата за настройку и нет минимальных платежей. Вы платите только за объем данных, переданных через сервис, а также за преобразование формата данных и за доставку и передачу данных через Amazon VPC, если эти возможности используются.
Преимущества
Простота использования
Amazon Kinesis Data Firehose позволяет захватывать, преобразовывать и загружать данные потоковой передачи за несколько щелчков мышью в Консоли управления AWS. Вы можете быстро создать поток доставки данных Firehose, выбрать целевое расположение и запустить передачу данных в режиме реального времени сразу из сотен тысяч источников. Сервис автоматически управляет потоком данных, в том числе масштабированием, сегментированием и мониторингом, необходимыми для последовательной загрузки данных в целевые расположения с заданными интервалами.
Интеграция с сервисами AWS и поставщиками сервисов
Сервис Amazon Kinesis Data Firehose интегрирован с Amazon S3, Amazon Redshift и Amazon OpenSearch Service. Он также позволяет доставлять данные на общие HTTP‑адреса и непосредственно поставщикам таких сервисов, как Datadog, New Relic, MongoDB и Splunk. С помощью Консоли управления AWS можно указать для Kinesis Data Firehose целевые объекты на выбор и использовать существующие приложения и инструменты для анализа данных потоковой передачи.
Встроенное бессерверное преобразование данных
Kinesis Data Firehose позволяет подготавливать данные потоковой передачи перед их загрузкой в хранилища данных. Вы можете легко преобразовывать необработанные данные потоковой передачи, поступающие из источников данных, в такие форматы, как Apache Parquet и Apache ORC, без необходимости создания собственных конвейеров обработки данных. Вы можете динамически разделять данные потоковой передачи перед их доставкой в S3 с помощью статически или динамически определенных ключей, например "customer_id" или "transaction_id", и доставлять данные, сгруппированные по этим ключам, в уникальные префиксы S3. Это упрощает выполнение высокопроизводительного и экономичного анализа в S3 с использованием Athena, EMR и Redshift Spectrum. Подробнее »
Почти в режиме реального времени
Amazon Kinesis Data Firehose позволяет захватывать и загружать данные в режиме, близком к реальному времени. Данные, отправленные в этот сервис, загружаются в целевые объекты в течение 60 секунд. В результате вы можете оперативно получать доступ к новым данным и быстро реагировать на события, связанные с бизнесом и управлением.
Без постоянного администрирования
Amazon Kinesis Data Firehose – это полностью управляемый сервис, который автоматически выделяет и масштабирует вычислительные, сетевые ресурсы и память, необходимые для обработки и загрузки данных потоковой передачи, а также осуществляет управление ими. Достаточно один раз задать параметры Kinesis Data Firehose, и этот сервис будет непрерывно загружать поступающие данные в целевые объекты.
Оплата по факту использования
При использовании Amazon Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Кроме того, при необходимости оплачивается доставка и передача данных через Amazon VPC. Минимальные платежи и авансовые обязательства отсутствуют.
Принцип работы сервиса
Примеры использования
Amazon Kinesis Data Firehose – полностью управляемый сервис, не требующий постоянного администрирования. Kinesis Data Firehose управляет базовой инфраструктурой, хранилищем, сетью и конфигурацией, которые необходимы для потоковой передачи данных из источника в место назначения. Ниже приводятся основные примеры использования Amazon Kinesis Data Firehose для решения задач наших клиентов.
Потоковая передача данных в озеро и хранилище данных
С помощью Kinesis Data Firehose можно собирать большие объемы данных в озеро данных и хранилище данных на базе Amazon S3. Kinesis Data Firehose можно настроить для преобразования данных в такие форматы, как Apache Parquet и Apache ORC, используемые целевыми хранилищами данных, без необходимости создания собственных конвейеров обработки данных. Кроме того, вы можете динамически разделять данные потоковой передачи с помощью четко определенных ключей, например "customer_id" или "transaction_id". Kinesis Data Firehose группирует данные по этим ключам и доставляет их в уникальные префиксы S3, что упрощает выполнение высокопроизводительного и экономичного анализа в S3 с помощью Athena, EMR и Redshift Spectrum.
Приложения для потоковой передачи данных машинного обучения
С помощью Kinesis Data Firehose можно создавать приложения для потоковой передачи данных машинного обучения (ML). Функция трансформации Lambda в Kinesis Data Firehose позволяет вызывать модели машинного обучения для анализа и адреса логических выводов машинного обучения для прогнозов, чтобы обогатить потоки данных по мере их доставки в пункт назначения.
Журнал и IoT Analytics
Amazon Kinesis Data Firehose позволяет непрерывно собирать данные с подключенных устройств, например бытовых приборов, встроенных датчиков и ресиверов цифрового телевидения. Kinesis Data Firehose загружает данные в указанные целевые объекты, предоставляя доступ к метрикам, аналитическим данным и панелям управления в режиме, близком к реальному времени. Сбор, мониторинг и анализ данных журналов также позволяет обнаруживать ошибки в работе приложений в момент их возникновения и выявлять их причины. Агент Amazon Kinesis можно легко установить на сервер и настроить для автоматического мониторинга файлов журналов приложений и сервера с последующей отправкой собранных данных в Kinesis Data Firehose. Kinesis Data Firehose непрерывно передает данные журналов в целевые объекты, что позволяет визуализировать и анализировать эти данные.
Мониторинг безопасности
Kinesis Data Firehose поддерживает несколько инструментов информационной безопасности и управления событиями (SIEM), например Splunk, в качестве места назначения. Это означает, что можно захватывать и пересылать журналы сетевого трафика в сервис Kinesis Data Firehose, который, в свою очередь, будет преобразовывать, систематизировать и загружать их в Splunk. Такое решение обеспечивает мониторинг сетевой безопасности в режиме реального времени и своевременное предупреждение при возникновении потенциальных угроз.
Примеры использования
Начало работы с Amazon Kinesis Data Firehose
Узнайте о Kinesis Data Firehose из руководства для разработчиков.
Получите мгновенный доступ к уровню бесплатного пользования AWS.
Получите практический опыт работы с помощью этого учебного пособия.
Подробнее о возможностях Amazon Kinesis Data Firehose
