Pipeline di dati con Apache Airflow

Recensioni dei lettori

Il libro è altamente raccomandato come risorsa completa per l'apprendimento e l'utilizzo di Apache Airflow, coprendo efficacemente sia gli argomenti di base che quelli avanzati. La struttura consente ai lettori di afferrare rapidamente i fondamenti, fornendo al contempo informazioni approfondite per i professionisti più esperti. Tuttavia, è stato notato che le discussioni sulla sicurezza sono rimandate a una sezione successiva, cosa che alcuni lettori trovano preoccupante.

Spiegazioni dettagliate, incluse le migliori pratiche, esempi di codice adattabili, copre sia le basi che gli argomenti avanzati, ben scritto e strutturato, eccellente sia per i principianti che per gli utenti esperti, contiene ricette pratiche ed esempi realistici, è un ottimo riferimento.

Gli argomenti relativi alla sicurezza vengono affrontati tardi nel libro (pagina 322); alcuni lettori ritengono che possano mancare suggerimenti pratici immediati per le applicazioni sul posto di lavoro.

(basato su 12 recensioni dei lettori)

Titolo originale:

Data Pipelines with Apache Airflow

Contenuto del libro:

Data Pipelines with Apache Airflow insegna come costruire e mantenere pipeline di dati efficaci.

Sintesi

Una pipeline di successo sposta i dati in modo efficiente, riducendo al minimo le pause e i blocchi tra le attività, mantenendo operativo ogni processo lungo il percorso. Apache Airflow fornisce un unico ambiente personalizzabile per la creazione e la gestione di pipeline di dati, eliminando la necessità di un insieme eterogeneo di strumenti, codice snowflake e processi sviluppati in casa. Utilizzando scenari ed esempi reali, Data Pipelines with Apache Airflow insegna a semplificare e automatizzare le pipeline di dati, a ridurre i costi operativi e a integrare senza problemi tutte le tecnologie del proprio stack.

L'acquisto del libro stampato include un eBook gratuito nei formati PDF, Kindle e ePub di Manning Publications.

Informazioni sulla tecnologia

Le pipeline di dati gestiscono il flusso di dati dalla raccolta iniziale al consolidamento, alla pulizia, all'analisi, alla visualizzazione e altro ancora. Apache Airflow fornisce un'unica piattaforma da utilizzare per progettare, implementare, monitorare e mantenere le pipeline. L'interfaccia utente facile da usare, le opzioni plug-and-play e la flessibilità dello scripting Python rendono Airflow perfetto per qualsiasi attività di gestione dei dati.

Informazioni sul libro

Data Pipelines with Apache Airflow insegna come costruire e mantenere pipeline di dati efficaci. Esplorerete i modelli di utilizzo più comuni, tra cui l'aggregazione di più fonti di dati, la connessione a e da data lake e l'implementazione nel cloud. In parte riferimento e in parte esercitazione, questa guida pratica copre ogni aspetto dei grafi aciclici diretti (DAG) che alimentano Airflow e come personalizzarli per le esigenze della vostra pipeline.

Cosa contiene

Costruire, testare e distribuire le pipeline Airflow come DAG.

Automatizzare lo spostamento e la trasformazione dei dati.

Analizzare insiemi di dati storici utilizzando il backfilling.

Sviluppare componenti personalizzati.

Configurare Airflow in ambienti di produzione.

Informazioni sul lettore

Per DevOps, data engineer, machine learning engineer e sysadmin con competenze Python intermedie.

Informazioni sull'autore

Bas Harenslak e Julian de Ruiter sono ingegneri dei dati con una vasta esperienza nell'uso di Airflow per sviluppare pipeline per importanti aziende. Bas è anche un committer di Airflow.

Indice dei contenuti

PARTE 1 - INIZIARE.

1 Vi presentiamo Apache Airflow.

2 Anatomia di un DAG Airflow.

3 Pianificazione in Airflow.

4 Templatura dei task utilizzando il contesto di Airflow.

5 Definizione delle dipendenze tra i task.

PARTE 2 - OLTRE LE BASI.

6 Attivare i flussi di lavoro.

7 Comunicazione con sistemi esterni.

8 Creazione di componenti personalizzati.

9 Test.

10 Esecuzione di attività in contenitori.

PARTE 3 - AIRFLOW IN PRATICA.

11 Le migliori pratiche.

12 Utilizzo di Airflow in produzione.

13 Messa in sicurezza di Airflow.

14 Progetto: Trovare il modo più veloce per spostarsi a New York.

PARTE 4 - TRA LE NUVOLE.

15 Airflow nelle nuvole.

16 Airflow su AWS.

17 Airflow su Azure.

18 Airflow in GCP.