Amazon Kinesis Data Firehose

เตรียมความพร้อมและโหลดสตรีมข้อมูลแบบเรียลไทม์ลงในพื้นที่จัดเก็บข้อมูลและบริการวิเคราะห์

เริ่มต้นใช้งาน Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose เป็นวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมลงในที่จัดเก็บข้อมูลดิบ พื้นที่จัดเก็บข้อมูล และบริการวิเคราะห์อย่างเชื่อถือได้ โดยสามารถบันทึก แปลง และส่งข้อมูลการสตรีมไปยัง Amazon S3, Amazon Redshift, Amazon OpenSearch Service (รุ่นใหม่ที่มารับช่วงต่อจาก Amazon Elasticsearch Service), ตำแหน่งข้อมูล HTTP ทั่วไป และผู้ให้บริการ เช่น Datadog, New Relic, MongoDB และ Splunk นี่เป็นบริการที่ได้รับการจัดการเต็มรูปแบบที่ปรับขนาดโดยอัตโนมัติเพื่อให้เข้ากับปริมาณการประมวลผลข้อมูลของคุณและไม่จำเป็นต้องมีการดูแลระบบอย่างต่อเนื่อง อีกทั้งยังสามารถจัดกลุ่ม บีบอัด แปลง และเข้ารหัสสตรีมข้อมูลก่อนโหลดได้ ซึ่งช่วยลดการใช้งานพื้นที่จัดเก็บ และช่วยเพิ่มการรักษาความปลอดภัย

คุณสามารถสร้างสตรีมการนำเสนอ Firehose จาก AWS Management Console กำหนดค่าด้วยการคลิกเพียงไม่กี่ครั้ง และเริ่มนำเข้าข้อมูลการสตรีมจากแหล่งข้อมูลหลายแสนแห่งไปยังปลายทางที่ระบุ คุณยังสามารถกำหนดค่าสตรีมข้อมูลเพื่อแปลงข้อมูลขาเข้าเป็นรูปแบบเปิดและมาตรฐานได้โดยอัตโนมัติ เช่น Apache Parquet และ Apache ORC ก่อนจะส่งข้อมูล

Amazon Kinesis Data Firehose ไม่มีค่าธรรมเนียมขั้นต่ำหรือค่าใช้จ่ายในการติดตั้ง คุณชำระค่าบริการสำหรับปริมาณข้อมูลที่คุณส่งผ่านบริการเพื่อแปลงรูปแบบข้อมูล หากมี และสำหรับการนำเสนอและการถ่ายโอนข้อมูลบน Amazon VPC

ขอความช่วยเหลือเรื่องการทดสอบระบบหรือการประเมิน »

Amazon Kinesis Data Firehose คืออะไร (1:45)

ประโยชน์

ใช้งานง่าย

Amazon Kinesis Data Firehose มีวิธีบันทึก แปลง และโหลดข้อมูลการตรีมแบบง่ายเพียงคลิกไม่กี่ครั้งใน AWS Management Console คุณสามารถสร้างสตรีมการส่ง Firehose เลือกปลายทาง และเริ่มส่งข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลนับแสนได้พร้อมกันอย่างรวดเร็ว บริการนี้จะดูแลการจัดการสตรีม รวมถึงการปรับขนาด การแยกย่อย และการตรวจสอบทั้งหมดที่จำเป็นเพื่อโหลดข้อมูลไปยังปลายทางอย่างต่อเนื่องตามช่วงเวลาที่คุณระบุ

ผสานรวมกับบริการของ AWS และผู้ให้บริการรายอื่น

Amazon Kinesis Data Firehose ผสานรวมกับ Amazon S3, Amazon Redshift และ Amazon OpenSearch Service โดยสามารถส่งข้อมูลไปยังตำแหน่งข้อมูล HTTP ทั่วไป และส่งไปยังผู้ให้บริการต่างๆ เช่น Datadog, New Relic, MongoDB และ Splunk จาก AWS Management Console คุณสามารถชี้ Kinesis Data Firehose ไปยังปลายทางที่คุณเลือกและใช้แอปพลิเคชันและเครื่องมือที่มีอยู่เพื่อวิเคราะห์ข้อมูลการสตรีมได้

การแปลงข้อมูลในตัวแบบไร้เซิร์ฟเวอร์

Kinesis Data Firehose ช่วยให้คุณสามารถจัดเตรียมข้อมูลการสตรีมก่อนที่จะโหลดไปยังพื้นที่จัดเก็บข้อมูล คุณสามารถแปลงข้อมูลการสตรีมแบบดิบจากแหล่งข้อมูลเป็นรูปแบบ เช่น Apache Parquet และ Apache ORC ได้โดยไม่ต้องสร้างขั้นตอนการประมวลผลข้อมูลเอง นอกจากนี้คุณยังสามารถสร้างพาร์ติชันแบบไดนามิกให้กับข้อมูลสตรีมมิงก่อนที่จะส่งไปยัง S3 ได้โดยใช้คีย์ที่กำหนดแบบสแตติกและแบบไดนามิก เช่น “customer_id” หรือ “transaction_id” และส่งข้อมูลที่จัดกลุ่มโดยคีย์เหล่านี้เป็นคำนำหน้า S3 ที่ไม่ซ้ำกัน ซึ่งจะเอื้อต่อการทำงานที่มีประสิทธิภาพสูง รวมทั้งการวิเคราะห์ประสิทธิภาพต้นทุนใน S3 โดยใช้ Athena, EMR และ Redshift Spectrum เรียนรู้เพิ่มเติม »

แบบใกล้เคียงเรียลไทม์

Amazon Kinesis Data Firehose จะบันทึกและโหลดข้อมูลแบบใกล้เคียงเรียลไทม์ โดยจะโหลดข้อมูลใหม่ไปยังปลายทางของคุณภายใน 60 วินาทีหลังจากที่ส่งข้อมูลไปยังบริการ เมื่อดำเนินการแล้ว คุณจะสามารถเข้าถึงข้อมูลใหม่ได้เร็วขึ้นและตอบสนองต่อธุรกิจและการดำเนินการได้เร็วขึ้น

ไม่ต้องมีการดูแลระบบอย่างต่อเนื่อง

Amazon Kinesis Data Firehose เป็นบริการที่ได้รับการจัดการอย่างเต็มรูปแบบซึ่งจะจัดเตรียม จัดการ และปรับขนาดทรัพยากรการประมวลผล หน่วยความจำ และระบบเครือข่ายที่จำเป็นโดยอัตโนมัติ เพื่อประมวลผลและโหลดข้อมูลการสตรีมของคุณ เมื่อติดตั้งแล้ว Kinesis Data Firehose จะโหลดสตรีมข้อมูลไปยังปลายทางของคุณอย่างต่อเนื่องเมื่อข้อมูลมาถึง

ชำระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น

เมื่อใช้ Amazon Kinesis Data Firehose คุณจะชำระเงินตามปริมาณข้อมูลที่ส่งผ่านบริการและตามการแปลงรูปแบบข้อมูลเท่านั้น (หากมี) นอกจากนี้ คุณจะชำระค่าบริการสำหรับการนำเสนอและการถ่ายโอนข้อมูลบน Amazon VPC หากมี ไม่มีค่าธรรมเนียมขั้นต่ำหรือสัญญาค่าบริการล่วงหน้า

วิธีทำงาน

วิธีการทำงานของ Amazon Kinesis Data Firehose

กรณีการใช้งาน

Amazon Kinesis Data Firehose เป็นบริการที่มีการจัดการเบ็ดเสร็จ โดยไม่ต้องมีการดูแลระบบอย่างต่อเนื่อง Kinesis Data Firehose จะจัดการโครงสร้างพื้นฐาน ที่จัดเก็บข้อมูล เครือข่าย และการกำหนดค่าทั้งหมดที่จำเป็นต่อการสตรีมข้อมูลจากต้นทางไปยังปลายทาง ต่อไปนี้นี้คือตัวอย่างของกรณีการใช้งานที่สำคัญซึ่งลูกค้าของเราจัดการโดยใช้ Amazon Kinesis Firehose

การสตรีมข้อมูลไปยัง Data Lake และ Data Warehouse

Kinesis Data Firehose เปิดใช้งานการนำเข้าข้อมูลปริมาณมากไปยังคลังข้อมูลและที่จัดเก็บข้อมูลดิบใน Amazon S3 คุณสามารถกำหนดค่า Kinesis Data Firehose ให้แปลงข้อมูลเป็นรูปแบบ เช่น Apache Parquet และ Apache ORC ที่พื้นที่จัดเก็บปลายทางกำหนดได้โดยไม่ต้องสร้างขั้นตอนการประมวลผลข้อมูลเอง และคุณยังสามารถสร้างพาร์ติชันแบบไดนามิกให้กับข้อมูลสตรีมมิงได้โดยการใช้คีย์ที่กำหนดไว้เป็นอย่างดีแล้ว เช่น “customer_id” หรือ “transaction_id” Kinesis Data Firehose จะจัดกลุ่มข้อมูลด้วยคีย์เหล่านี้และส่งเป็นคำนำหน้าคีย์ S3 ที่ไม่ซ้ำกัน ซึ่งจะเอื้อต่อการทำงานที่มีประสิทธิภาพสูง รวมทั้งการวิเคราะห์ประสิทธิภาพต้นทุนใน S3 โดยใช้ Athena, EMR และ Redshift Spectrum

แอปพลิเคชัน Machine Learning สำหรับสตรีมมิง

คุณสามารถสร้างแอปพลิเคชัน Machine Learning (ML) สำหรับสตรีมมิงได้ด้วย Kinesis Data Firehose ฟีเจอร์ Lambda สำหรับการเปลี่ยนผ่านใน Kinesis Data Firehose อาจมีชื่อเรียกต่างกันไปตามรุ่นการวิเคราะห์ของ ML รวมถึงตำแหน่งข้อมูลของอนุมาน ML สำหรับการคาดการณ์เพื่อเพิ่มประสิทธิภาพในการสตรีมข้อมูลขณะส่งไปยังปลายทาง

บันทึกและ IoT Analytics

Amazon Kinesis Data Firehose ช่วยให้คุณสามารถบันทึกข้อมูลอย่างต่อเนื่องจากอุปกรณ์ที่มีการเชื่อมต่อกัน เช่น เครื่องใช้ไฟฟ้า เซ็นเซอร์แบบฝัง และกล่องรับสัญญาณทีวี Kinesis Data Firehose จะโหลดข้อมูลไปยังปลายทางที่ระบุ ทำให้สามารถเข้าถึงเมตริก ข้อมูลเชิงลึก และแดชบอร์ดได้แบบใกล้เคียงเรียลไทม์ นอกจากนี้คุณยังสามารถตรวจพบข้อผิดพลาดของแอปพลิเคชันได้ในขณะที่กำลังเกิดขึ้น และระบุสาเหตุหลักได้โดยการเก็บรวบรวม การตรวจสอบ และการวิเคราะห์ข้อมูลบันทึก คุณสามารถติดตั้งและกำหนดค่า Amazon Kinesis Agent บนเซิร์ฟเวอร์ของคุณได้อย่างง่ายดายเพื่อดูไฟล์บันทึกของแอปพลิเคชันและเซิร์ฟเวอร์โดยอัตโนมัติ จากนั้นส่งข้อมูลไปยัง Kinesis Data Firehose Kinesis Data Firehose จะสตรีมข้อมูลบันทึกอย่างต่อเนื่องไปยังปลายทางของคุณ เพื่อให้คุณแสดงภาพและวิเคราะห์ข้อมูลได้

การตรวจสอบความปลอดภัย

Kinesis Data Firehose รองรับข้อมูลความปลอดภัยและเครื่องมือจัดการเหตุการณ์ (SIEM) หลายรายการอย่างเช่น Splunk ในปลายทาง นั่นหมายความว่า คุณสามารถบันทึกและส่งบันทึกปริมาณการใช้งานเครือข่ายไปยัง Kinesis Data Firehose ซึ่งสามารถแปลง ปรับแต่ง และโหลดข้อมูลไปยัง Splunk ได้ คุณสามารถใช้โซลูชันนี้ในการตรวจสอบความปลอดภัยของเครือข่ายแบบเรียลไทม์และแจ้งเตือนเมื่อมีภัยคุกคามเกิดขึ้น