Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose là cách thức dễ dàng nhất để tải dữ liệu truyền vào các hồ dữ liệu, kho lưu trữ dữ liệu và dịch vụ phân tích một cách đáng tin cậy. Sản phẩm này có thể thu thập, biến đổi và phân phối dữ liệu truyền đến Amazon S3, Amazon Redshift, Amazon OpenSearch Service (công cụ thay thế Amazon Elasticsearch Service), các điểm cuối HTTP chung và những nhà cung cấp dịch vụ như Datadog, New Relic, MongoDB và Splunk. Đây là một dịch vụ được quản lý hoàn toàn, tự động thay đổi quy mô để phù hợp với thông lượng dữ liệu và không cần quản trị liên tục. Công cụ này còn có thể chia lô, nén, chuyển đổi và mã hóa các luồng dữ liệu trước khi tải, nhờ đó giảm thiểu lượng dung lượng lưu trữ sử dụng và tăng độ bảo mật.
Bạn có thể dễ dàng tạo luồng phân phối Firehose từ Bảng điều khiển quản lý AWS, đặt cấu hình cho luồng này chỉ bằng vài lần nhấp chuột và bắt đầu xử lý dữ liệu truyền từ hàng trăm nghìn nguồn dữ liệu đến các đích cụ thể. Bạn cũng có thể cấu hình luồng dữ liệu của mình để tự động chuyển đổi dữ liệu đến thành các định dạng mở và dựa trên tiêu chuẩn như Apache Parquet và Apache ORC trước khi dữ liệu được phân phối.
Khi dùng Amazon Kinesis Data Firehose, bạn không cần trả mức phí tối thiểu hay phí cài đặt. Bạn thanh toán cho lượng dữ liệu mà bạn truyền qua dịch vụ, nếu có, để chuyển đổi định dạng dữ liệu và để phân phối lên Amazon VPC cũng như truyền dữ liệu.
Lợi ích
Dễ sử dụng
Amazon Kinesis Data Firehose cung cấp cách thức dễ dàng để ghi lại, chuyển đổi và tải dữ liệu truyền với chỉ vài cú nhấp chuột trong Bảng điều khiển quản lý AWS. Bạn có thể nhanh chóng tạo luồng phân phối Firehose, chọn đích đến và bắt đầu gửi đồng thời dữ liệu trong thời gian thực từ hàng trăm nghìn nguồn dữ liệu. Dịch vụ sẽ đảm nhiệm phần quản lý luồng, bao gồm toàn bộ tác vụ thay đổi quy mô, phân mảnh và theo dõi cần thực hiện để tải liên tục dữ liệu đến điểm đích theo các khoảng thời gian bạn chọn.
Tích hợp với các dịch vụ AWS và nhà cung cấp dịch vụ
Amazon Kinesis Data Firehose được tích hợp với Amazon S3, Amazon Redshift và Amazon OpenSearch Service. Dịch vụ này cũng có thể phân phối dữ liệu đến các điểm cuối HTTP chung và phân phối trực tiếp đến các nhà cung cấp dịch vụ như Datadog, New Relic, MongoDB và Splunk. Từ Bảng điều khiển quản lý AWS, bạn có thể hướng Kinesis Data Firehose đến điểm đích tùy ý và sử dụng các ứng dụng và công cụ hiện có để phân tích dữ liệu truyền.
Chuyển đổi dữ liệu tích hợp phi máy chủ
Kinesis Data Firehose đem đến cho bạn khả năng chuẩn bị dữ liệu truyền trước khi tải lên kho lưu trữ dữ liệu. Bạn có thể dễ dàng chuyển đổi dữ liệu truyền thô từ các nguồn dữ liệu thành các định dạng như Apache Parquet và Apache ORC mà không phải dựng hệ thống xử lý dữ liệu riêng. Bạn cũng có thể tự động phân vùng dữ liệu truyền của mình trước khi phân phối tới S3 bằng các khóa tĩnh hoặc được xác định động như “customer_id” hoặc “transaction_id” và phân phối dữ liệu được nhóm bởi các khóa này thành các tiền tố S3 duy nhất, giúp bạn dễ dàng thực hiện các phân tích có hiệu suất cao, hiệu quả về chi phí trong S3 bằng Athena, EMR và Redshift Spectrum. Tìm hiểu thêm »
Gần với thời gian thực.
Amazon Kinesis Data Firehose thu nhận và tải dữ liệu với tốc độ gần như trong thời gian thực. Dịch vụ này tải dữ liệu mới lên điểm đích trong 60 giây sau khi dữ liệu được gửi đến dịch vụ. Kết quả là bạn sẽ có thể truy cập dữ liệu mới sớm hơn và ứng phó nhanh hơn trước các sự cố hoạt động và kinh doanh.
Không cần quản trị liên tục
Amazon Kinesis Data Firehose là dịch vụ được quản lý toàn phần có chức năng tự động cung cấp, quản lý và thay đổi quy mô điện toán, bộ nhớ và tài nguyên mạng cần để xử lý và tải dữ liệu truyền của bạn. Sau khi thiết lập, Kinesis Data Firehose liên tục tải các luồng dữ liệu lên điểm đích khi chúng đến.
Bạn chỉ phải trả tiền cho những gì mình sử dụng
Với Amazon Kinesis Data Firehose, bạn chỉ phải trả tiền cho lượng dữ liệu bạn truyền qua dịch vụ và phí chuyển đổi định dạng dữ liệu, nếu có. Bạn cũng có thể thanh toán cho việc phân phối lên Amazon VPC và truyền dữ liệu, nếu có. Không yêu cầu mức phí tối thiểu hay cam kết trả trước.
Cách thức hoạt động
Trường hợp sử dụng
Amazon Kinesis Data Firehose là một dịch vụ được quản lý toàn phần, không cần quản trị liên tục. Kinesis Data Firehose quản lý tất cả các cơ sở hạ tầng cơ bản, kho lưu trữ, mạng và cấu hình cần thiết để truyền dữ liệu của bạn từ nguồn đến đích. Dưới đây là những ví dụ về các trường hợp sử dụng chính mà khách hàng của chúng tôi giải quyết bằng Amazon Kinesis Data Firehose.
Truyền dữ liệu vào Hồ dữ liệu và Kho dữ liệu
Kinesis Data Firehose cho phép thu nạp lượng lớn dữ liệu vào hồ dữ liệu và kho dữ liệu dựa trên Amazon S3 của bạn. Bạn có thể cấu hình Kinesis Data Firehose để chuyển đổi dữ liệu của bạn thành các định dạng như Apache Parquet và Apache ORC theo yêu cầu của kho lưu trữ dữ liệu đích mà không phải dựng hệ thống xử lý dữ liệu riêng. Bạn cũng có thể phân vùng động dữ liệu truyền bằng khóa được xác định tối ưu như “customer_id” hoặc “transaction_id”. Kinesis Data Firehose nhóm dữ liệu bằng những khóa này và phân phối vào các tiền tố S3 khóa duy nhất, khiến việc thực hiện phân tích hiệu suất cao, hiệu quả về chi phí trong S3 bằng Athena, EMR và Redshift Spectrum trở nên dễ dàng hơn.
Ứng dụng Machine Learning truyền phát
Bạn có thể thiết lập các ứng dụng Machine Learning (ML) truyền phát với Kinesis Data Firehose. Tính năng lambda chuyển đổi trong Kinesis Data Firehose có thể gọi các mô hình ML để phân tích, điểm cuối suy luận ML để dự đoán nhằm làm phong phú thêm các luồng dữ liệu của bạn khi chúng được phân phối đến đích.
Phân tích nhật ký và IoT Analytics
Với Amazon Kinesis Data Firehose, bạn sẽ có thể dễ dàng ghi lại dữ liệu liên tục từ các thiết bị được kết nối như thiết bị tiêu dùng, cảm biến tích hợp và thiết bị giải mã tín hiệu truyền hình của TV. Kinesis Data Firehose tải dữ liệu lên điểm đích cụ thể, cho phép truy cập gần như trong thời gian thực vào các số liệu, thông tin chuyên sâu và bảng điều khiển. Bạn cũng có thể phát hiện lỗi ứng dụng ngay khi lỗi xảy ra và xác định nguyên nhân gốc rễ bằng cách thu thập, theo dõi và phân tích dữ liệu nhật ký. Bạn có thể dễ dàng cài đặt và cấu hình Amazon Kinesis Agent trên máy chủ của bạn để tự động theo dõi ứng dụng và tệp nhật ký máy chủ rồi gửi dữ liệu về Kinesis Data Firehose. Kinesis Data Firehose sẽ liên tục truyền dữ liệu nhật ký đến điểm đích để bạn có thể trực quan hóa và phân tích dữ liệu.
Theo dõi bảo mật
Kinesis Data Firehose hỗ trợ một số công cụ Quản lý sự kiện và thông tin bảo mật (SIEM), ví dụ như Splunk, làm điểm đến. Nghĩa là, bạn sẽ có thể ghi lại và gửi nhật ký luồng lưu lượng mạng đến Kinesis Data Firehose, sau đó, dịch vụ sẽ chuyển đổi, bổ sung rồi tải dữ liệu lên Splunk. Với giải pháp này, bạn sẽ có thể theo dõi tình hình an ninh mạng theo thời gian thực và phát cảnh báo ngay khi có hiểm họa tiềm ẩn nảy sinh.
Nghiên cứu điển hình
Bắt đầu với Amazon Kinesis Data Firehose
Tìm hiểu về Kinesis Data Firehose từ hướng dẫn dành cho nhà phát triển.
Thử trải nghiệm thực tế bằng hướng dẫn này.
Tìm hiểu thêm về các tính năng của Amazon Kinesis Data Firehose
