Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Revizuirea Apache Airflow Noțiuni de bază
- Concepte de bază: DAG-uri, sarcini și operatori
- Arhitectura și componentele Airflow
- Recapitularea cazurilor comune de utilizare și a fluxurilor de lucru
Optimizarea performanței fluxurilor de lucru
- Identificarea blocajelor în conductele Airflow
- Tehnici de optimizare la nivel de sarcină
- Valorificarea încercărilor repetate ale sarcinilor, a paralelismului și a simultaneității
Gestionarea dependențelor complexe
- Definirea dependențelor dinamice în fluxurile de lucru
- Gestionarea fluxurilor de lucru condiționate și ramificate
- Utilizarea eficientă a grupurilor de sarcini și a sub-DAG-urilor
Caracteristici avansate în Apache Airflow
- Crearea de operatori și cârlige personalizate
- Implementarea senzorilor pentru declanșări externe
- Integrarea serviciilor și plugin-urilor terțe
Scalarea implementărilor Apache Airflow
- Abordări de scalare orizontală și verticală
- Utilizarea Celery Executors pentru execuție distribuită
- Cele mai bune practici pentru scalarea în medii cloud
Monitorizarea și depanarea fluxurilor de lucru
- Configurarea logării și a alertelor pentru monitorizarea fluxurilor de lucru
- Utilizarea interfeței de utilizator și a CLI Airflow pentru depanare
- Identificarea și rezolvarea problemelor comune în implementările Airflow
Securizarea Apache Airflow
- Autentificarea și controlul accesului în Airflow
- Protejarea datelor sensibile și a configurațiilor mediului
- Implementarea pistelor de audit pentru fluxurile de lucru
Enterprise Use Case s și cele mai bune practici
- Proiectarea de fluxuri de lucru robuste pentru mediile de producție
- Utilizarea Airflow pentru ingineria datelor și conductele ETL
- Explorarea studiilor de caz din lumea reală privind implementările Airflow scalabile
Rezumat și pași următori
Cerințe
- Cunoștințe de bază de Apache Airflow
- Familiaritate cu conceptele de programare Python și de orchestrare a fluxurilor de lucru
- Experiență în gestionarea și implementarea aplicațiilor în medii Linux
Audiență
- Ingineri de date
- DevOps profesioniști
- Dezvoltatori de software
21 ore
