La preparazione dei dati per ottenere risultati di qualità è il primo passaggio di un progetto di analisi o ML. AWS Glue è un servizio di integrazione dati serverless che facilita, velocizza e rende più economica la preparazione dei dati. È possibile scoprire e connettersi con oltre 100 diverse origini dati, gestire i dati in un catalogo centralizzato e creare, eseguire e monitorare visivamente le pipeline ETL per caricare i dati nei data lake. Con le funzionalità di IA generativa integrate, è possibile modernizzare i processi Spark e svilupparli più velocemente con un'assistenza intelligente per la creazione di ETL e la risoluzione dei problemi di Spark.
Introduzione ad AWS Glue (01:54)
Vantaggi di AWS Glue
Supporto per tutti i carichi di lavoro
Supporto flessibile per ETL, ELT, batch, streaming e molto altro, senza vincoli
Dimensionamento on demand
Capacità in scala petabyte e fatturazione con pagamento in base al consumo per qualsiasi dimensione di dati
Strumenti su misura
Supporta tutti gli utenti di dati, dagli sviluppatori agli utenti aziendali
Assistenza all’IA generativa
Ottieni assistenza basata sull'intelligenza artificiale durante tutto il tuo percorso di integrazione dei dati, dalla generazione automatica di codice ETL alla modernizzazione dei tuoi processi Spark. AWS Glue offre generazione intelligente di codice, aggiornamenti Spark assistiti dall'intelligenza artificiale (anteprima) e risoluzione dei problemi di Spark integrata (anteprima).
Tutto in unico servizio
Funzionalità complete di integrazione di dati in un unico servizio serverless
Come funziona
AWS Glue è un servizio di integrazione dei dati serverless che facilita la scoperta, la preparazione, lo spostamento e l'integrazione dei dati da più origini per l'analisi, il machine learning (ML) e lo sviluppo di applicazioni.
Opzioni del motore di integrazione dei dati
ETL basato su eventi
Catalogo dati AWS Glue
Processi ETL senza codice
Gestisci e monitora la qualità dei dati
Preparazione dei dati
Opzioni del motore di integrazione dei dati
Scegli il motore di integrazione dei dati che preferisci in AWS Glue per supportare i tuoi utenti e carichi di lavoro.
Il diagramma mostra come gli utenti di AWS Glue possono scegliere tra le opzioni dell'interfaccia per creare carichi di lavoro di processi utilizzando più motori di integrazione dei dati. Vengono visualizzate quattro sezioni: una a sinistra, due al centro e una a destra.
La prima sezione a sinistra si chiama "Origini dei dati". Include le seguenti origini dei dati: "Amazon S3", "Amazon DynamoDB", "Database in esecuzione su Amazon EC2", "Database" e "SaaS".
Dalla prima sezione, una freccia punta alla sezione centrale nella parte superiore del diagramma, chiamata "Scelta di interfacce". Questa seconda sezione comprende tre elementi: "AWS Glue Studio", "Notebook Amazon SageMaker" e "Notebook e IDE".
Sotto la seconda sezione, c'è un testo in cui si legge: "Le interfacce aperte supportano carichi di lavoro interattivi e di processi". Questo testo include una freccia che indica la seconda sezione precedentemente descritta e una freccia che punta alla terza sezione sottostante.
Questa terza sezione si chiama "Motori di integrazione dei dati". Nel testo si legge: "Scegli un motore di elaborazione dei dati scalabile e serverless con dimensionamento automatico e pagamento in base al consumo". Questa sezione comprende tre nomi di motori: "AWS Glue per Ray", "AWS Glue per Python Shell" e "AWS Glue per Apache Spark".
La quarta sezione appare a destra della seconda sezione con una freccia che punta dalla seconda sezione alla quarta sezione. Nella quarta sezione si legge: "Crea e carica i dati nei data lake e nei data warehouse". Anche questa sezione comprende tre voci: "Amazon Redshift", "Data lake" e "Data warehouse".
AWS Glue può eseguire i processi di estrazione, trasformazione e caricamento (ETL) non appena arrivano nuovi dati. Ad esempio, puoi configurare AWS Glue per eseguire il processo ETL non appena i nuovi dati diventano disponibili in Amazon Simple Storage Service (S3).
Catalogo dati AWS Glue
Puoi utilizzare il catalogo dati per rilevare e rendere ricercabili diversi set di dati in AWS in modo rapido senza spostarli. Una volta catalogati, i dati sono immediatamente ricercabili e interrogabili con Amazon Athena, Amazon EMR e Amazon Redshift Spectrum.
Processi ETL senza codice
AWS Glue Studio facilita la creazione, l'esecuzione e il monitoraggio visivi dei processi ETL di AWS Glue. Puoi creare processi ETL che spostano e trasformano i dati utilizzando un editor a trascinamento e rilascio e AWS Glue genererà automaticamente il codice.
Gestisci e monitora la qualità dei dati
Qualità dei dati di AWS Glue automatizza la creazione, la gestione e il monitoraggio delle regole di qualità dei dati per garantire l'alta qualità dei dati nei data lake e nelle pipeline di dati.
Il diagramma mostra come Qualità dei dati di AWS Glue possa essere utilizzato per creare raccomandazioni di regole, monitorare la qualità dei dati e inviare avvisi quando la qualità dei dati si deteriora. Vengono visualizzate tre sezioni da sinistra a destra.
La prima sezione contiene un'illustrazione di Catalogo dati AWS Glue e ETL AWS Glue. In Catalogo dati AWS Glue, si legge: "Cataloga tutti i set di dati nei tuoi data lake". In ETL di AWS Glue si legge: "Integra e trasforma i dati da origini dei dati diverse".
La seconda sezione si chiama "Qualità dei dati di AWS Glue". In questa sezione sono presenti tre icone. La prima è una checklist. Sotto si legge: "Raccomandazioni sulle regole di qualità dei dati". Inizia rapidamente con le raccomandazioni automatiche sulle regole di qualità dei dati". La seconda icona è una matita. Sotto si legge: "Regole di qualità dei dati preconfigurate". Modifica o aumenta le raccomandazioni con regole di qualità dei dati preconfigurate". La terza icona è una campana. Sotto si legge: "Avvisi e azioni. Aggiungi avvisi e azioni da eseguire quando la qualità dei dati si deteriora".
La terza sezione presenta due icone impilate. La prima icona è un grafico a barre. Sotto si legge: "Parametri. Utilizza i parametri di qualità dei dati per prendere decisioni aziendali sicure". La seconda icona è un segno di avvertenza. Sotto si legge: "Avvisi. Utilizza gli avvisi per ricevere una notifica quando la qualità si deteriora e intervieni per correggere i dati".
Con AWS Glue DataBrew è possibile esplorare e sperimentare con i dati direttamente da data lake, data warehouse e database, inclusi Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora e Amazon Relational Database Service (RDS). È possibile scegliere tra oltre 250 trasformazioni integrate in DataBrew per automatizzare le attività di preparazione dei dati, come filtro delle anomalie, standardizzazione dei formati e correzione dei valori non validi.
In aggiunta, AWS Glue Studio è uno strumento di preparazione dati utilizzabile per preparare i dati con un'interfaccia grafica interattiva point-and-click senza bisogno di scrivere codice.
Casi d'uso
Esplora, sperimenta ed elabora i dati in modo interattivo
Utilizzando le sessioni interattive di AWS Glue, i data engineer possono esplorare e preparare i dati in modo interattivo utilizzando l'ambiente di sviluppo integrato (IDE) o il notebook di loro scelta.
Rimuovi la gestione dell'infrastruttura con il provisioning automatico e la gestione dei lavoratori e consolida tutte le tue esigenze di integrazione dei dati in un unico servizio.