Kaliteli sonuçlar elde etmek için verilerinizi hazırlamak, bir analiz veya makine öğrenimi projesinde ilk adımdır. AWS Glue, veri hazırlamayı daha basit, daha hızlı ve daha ucuz hale getiren sunucusuz bir veri entegrasyonu hizmetidir. 100'ün üzerinde farklı veri kaynağını keşfedebilir ve bunlara bağlanabilir, verilerinizi merkezi bir veri kataloğunda yönetebilir ve verileri veri göllerinize yüklemek için ETL işlem hatlarını görsel olarak oluşturabilir, çalıştırabilir ve izleyebilirsiniz. Yerleşik üretken yapay zeka özellikleriyle, ETL yazma ve Spark sorun giderme için akıllı yardımla Spark işlerini modernize edebilir ve daha hızlı geliştirebilirsiniz.
AWS Glue'ya Giriş (01:54)
AWS Glue'nun Avantajları
Tüm iş yüklerini destekleyin
ELT, toplu iş, akış ve daha fazlası içi kilitlenme olmadan esnek destek
İstek üzerine ölçeklendirin
Petabayt ölçeği, kullandıkça öde fiyatlandırması, tüm veri boyutları
Amaca özel araçlar
Geliştiricilerden işletme kullanıcılarına kadar tüm veri kullanıcılarını destekleyin
Üretici yapay zeka yardımı
Otomatik olarak ETL kodu oluşturmaktan Spark işlerinizi modernize etmeye kadar veri entegrasyonu yolculuğunuz boyunca yapay zekâ destekli yardım alın. AWS Glue; akıllı kod oluşturma, yapay zekâ destekli Spark yükseltmeleri (ön izleme) ve yerleşik Spark sorun giderme (ön izleme) sağlar.
Hepsi bir arada
Tek bir sunucusuz hizmette eksiksiz veri entegrasyonu özellikleri
İşleyiş şekli
AWS Glue; analiz, makine öğrenimi (ML) ve uygulama geliştirme için, birden fazla kaynaktan gelen verileri keşfetmeyi, hazırlamayı, taşımayı ve entegre etmeyi kolaylaştıran sunucusuz bir veri entegrasyonu hizmetidir.
Veri entegrasyonu altyapı seçenekleri
Olay odaklı ETL
AWS Glue Veri Kataloğu
Kodsuz ETL işleri
Veri kalitesini yönetin ve izleyin
Veri hazırlama
Veri entegrasyonu altyapı seçenekleri
Kullanıcılarınızı ve iş yüklerinizi desteklemek için AWS Glue'da tercih ettiğiniz veri entegrasyonu altyapısını seçin.
Diyagram, AWS Glue kullanıcılarının birden fazla veri entegrasyonu altyapısını kullanarak iş yükleri oluşturmak için arabirim seçenekleri arasından nasıl seçim yapabileceğini göstermektedir. Bir solda, iki ortada ve bir sağda olmak üzere dört bölüm gösterilmektedir.
Soldaki ilk bölümün adı, "Veri kaynakları"dır. Şu veri kaynaklarını içerir: "Amazon S3", "Amazon DynamoDB", "Amazon EC2'de çalışan veritabanları", "Veritabanları" ve "SaaS".
İlk bölümden, diyagramın üst kısmında "Arabirimlerin seçilmesi" adlı orta bölümü işaret eden bir ok vardır. Bu ikinci bölümde, üç unsur yer almaktadır: "AWS Glue Studio", "Amazon SageMaker not defterleri" ve "Not Defterleri ile IDE'ler".
Bu ikinci bölümün altındaki metin kutusunda, "Açık arabirimler, etkileşimli ve işle ilgili iş yüklerini destekler" ifadesi yer almaktadır. Bu metinde, yukarıda açıklanan ikinci bölümü ve altında üçüncü bölümü gösteren birer ok işareti yer almaktadır.
Bu üçüncü bölümün adı, "Veri entegrasyonu altyapıları"dır. Metin kutusunda, "Otomatik ölçeklendirme ve kullandıkça öde fiyatlandırması ile tercih edilen sunucusuz, ölçeklenebilir bir veri işleme altyapısı seçin" ifadesi yer almaktadır. Bu bölümde, üç altyapı adı yer almaktadır: "Ray İçin AWS Glue", "Phyton Shell İçin AWS Glue" ve "Apache Spark İçin AWS Glue".
Dördüncü bölüm, ikinci bölümden dördüncü bölümü gösteren bir ok işaretiyle ikinci bölümün sağında görünmektedir. Dördüncü bölümde, "Verileri oluşturup veri göllerine ve veri ambarlarına yükleyin" ifadesi yer almaktadır. Bu bölümde de üç unsur yer almaktadır: "Amazon Redshift", "Veri gölleri" ve "Veri ambarları".
AWS Glue, yeni veriler geldikçe ayıkla, dönüştür ve yükle (ETL) işlerinizi yürütebilir. Örneğin, AWS Glue'yu Amazon Basit Depolama Hizmeti'ne (S3) yeni veriler geldikçe ETL işlerinizi çalıştırmayı başlatacak şekilde yapılandırabilirsiniz.
AWS Glue Veri Kataloğu
Veri Kataloğu ile, verileri taşımanıza gerek kalmadan birden çok AWS veri kümesini hızla keşfedebilir ve bunlarda arama yapabilirsiniz. Veriler kataloğa eklenir eklenmez Amazon Athena, Amazon EMR ve Amazon Redshift Spectrum ile aranabilir ve sorgulanabilir hale gelir.
Kodsuz ETL işleri
AWS Glue Stüdyo, AWS Glue ETL işlerini görsel olarak oluşturmayı, yürütmeyi ve izlemeyi daha kolay hale getirir. Bir sürükle ve bırak düzenleyicisi kullanarak verileri taşıyan ve dönüştüren ETL işlerini oluşturabilirsiniz. AWS Glue, kodu otomatik olarak oluşturacaktır.
Veri kalitesini yönetin ve izleyin
AWS Glue Veri Kalitesi, veri göllerinizde ve işlem hatlarınızda yüksek kaliteli verilerin sağlanmasına yardımcı olmak için veri kalitesi kuralı oluşturmayı, yönetmeyi ve izlemeyi otomatikleştirir.
Diyagram, AWS Glue Veri Kalitesi'nin kural önerileri oluşturmak, veri kalitesini izlemek ve veri kalitesi bozulduğunda uyarı göndermek için nasıl kullanılabileceğini göstermektedir. Üç bölüm soldan sağa görüntülenmektedir.
İlk bölümde, AWS Glue Veri Kataloğu ve AWS Glue ETL'nin illüstrasyonu yer almaktadır. AWS Glue Veri Kataloğu'nun altında, "Veri göllerinizdeki tüm veri kümelerini kataloglayın" yazmaktadır. AWS Glue ETL'nin altında, "Farklı veri kaynaklarından gelen verileri entegre edin ve dönüştürün" yazmaktadır.
İkinci bölümün adı, "AWS Glue Veri Kalitesi"dir. Bu bölümde üç simge vardır. İlki, bir onay listesidir. Altında, "Veri kalitesi kural önerileri. Otomatik veri kalitesi kural önerileriyle hızla kullanmaya başlayın" yazmaktadır. İkinci simge, bir kalemdir. Altında, "Önceden yapılandırılmış veri kalitesi kuralları. Önceden yapılandırılmış veri kalitesi kurallarıyla önerileri düzenleyin veya artırın" yazmaktadır. Üçüncü simge, zil işaretidir. Altında, "Uyarılar ve eylemler. Veri kalitesi bozulduğunda gerçekleştirilecek uyarılar ve eylemler ekleyin" yazmaktadır.
Üçüncü bölümde, üst üste iki simge bulunmaktadır. İlk simge, bir sütun grafiğidir. Altında, "Ölçümler. Güvenli iş kararları almak için veri kalitesi ölçümlerini kullanın" yazmaktadır. Üçüncü simge, bir uyarı işaretidir. Altında "Uyarılar. Kalite bozulduğunda bildirim almak için uyarıları kullanın ve verileri düzeltmek için harekete geçin" yazmaktadır.
AWS Glue DataBrew ile doğrudan veri gölünüzden, veri ambarlarınızdan ve Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora ve Amazon İlişkisel Veritabanı Hizmeti (RDS) dahil olmak üzere veritabanlarınızdan gelen verileri keşfedebilir ve denemeler yapabilirsiniz. Anormallikleri filtreleme, formatları standartlaştırma ve geçersiz değerleri düzeltme gibi veri hazırlama görevlerini otomatikleştirmek için DataBrew'daki önceden oluşturulmuş 250'nin üzerinde dönüşüm arasından seçim yapabilirsiniz.
Ek olarak AWS Glue Studio, kod yazmadan etkileşimli, işaretle ve tıkla görsel arayüzle veri hazırlamanıza olanak tanıyan bir veri hazırlama aracı sunar.
Kullanım Örnekleri
Verileri verimli şekilde keşfedin
AWS, şirket içi ve diğer bulutlardaki verileri hızla tanımlayın ve ardından sorgulama ve dönüştürme için anında kullanılabilir hale getirin.
Verileri etkileşimli olarak keşfedin, işleyin ve veriler üzerinde denemeler yapın
Veri mühendisleri, AWS Glue etkileşimli oturumlarını kullanarak, entegre geliştirme ortamını (IDE) veya tercih ettikleri not defterini kullanarak verileri etkileşimli olarak keşfedebilir ve hazırlayabilir.
Çeşitli işleme çerçevelerini ve iş yüklerini destekleyin
ETL ve ELT gibi çeşitli veri işleme çerçevelerini ve toplu işlem, mikro toplu işlem ve akış dahil olmak üzere çeşitli iş yüklerini daha kolay destekleyin.
Internet Explorer için AWS'nin sunduğu destek 07/31/2022 tarihinde sona eriyor. Desteklenen tarayıcılar: Chrome, Firefox, Edge ve Safari.
Daha fazla bilgi edinin »