Apache Airflow
L’objectif de cette formation est de savoir maitriser les principes de l’orchestration de pipelines data avec Apache Airflow. Airflow est une plate-forme de gestion de flux de travail open source initialement créée par Airbnb en 2014.
Dans cette formation, nous verrons les grands principes des orchestrateurs et les bonnes pratiques à adopter pour utiliser AirFlow dans des contextes d’industrialisation de projets data.
Cette formation s’inscrit dans un parcours de Data Engineer ou de Data Scientist.
Objectifs
- Créer des DAGs (Directed Acyclic Graphs) avec Airflow
- Implémenter différents types de tâches dans un pipeline Airflow
- Gérer les dépendances entre les tâches d'un workflow
Public cible
- Data Engineers
- Data Ops Engineers
- ML Engineers
- Software Engineers
Prérequis
Aucun
Programme détaillé
Introduction à l’orchestration
- Qu’est-ce qu’un orchestrateur ?
- Historique des outils existants
- Pourquoi Airflow est partout ?
Le vocabulaire Airflow
- DAG
- DAG run
- Tâche
Créer un DAG
- Les éléments qui composent un DAG
- Exercices pratiques
Configurer l’orchestration de son DAG
- La start date
- Reprise en cas d’erreur
- Rejeu d’historique
- Exercices pratiques
Les fonctionnalités de développement avancées
- Les plugins
- Architecturer le code de ses DAGs
- Xcom : la base de données interne d’Airflow
- Le pooling
- Exercices pratiques
Aller plus loin !
- Quand choisir Airflow et comment ?
- Discussion et échanges sur votre contexte
Vous allez le recevoir par mail dans quelques secondes
Ce qu’ils en disent…
Modalités d'évaluation
Un questionnaire d'auto-évaluation est envoyé aux participants avant et après la formation pour mesurer leur progression.
Pendant la formation :
Les acquis sont évalués tout au long de la formation par les formateurs sous forme de Quizz en ligne, questions réponses ou tour de table.
Le participant se verra délivrer une attestation de fin de formation à l’issue de la session
Organisation
En présentiel :
Cette formation est en groupe de 6 à 12 personne en intra-entreprise ou inter-entreprise en fonction du format souhaité par le commanditaire.
En ligne :
Un lien vous sera envoyé pour suivre les sessions à distances. Merci d'activer les caméras lors des sessions avec notre formateur.
Modalités d'accès
Les sessions peuvent être programmées jusqu’ à 7 jours avant la date retenue, sous condition d’un formateur disponible et de la réception de la convention signée avant la session pour des groupes de 6 à 12 personnes .
Formateur(s)
Photos
Financer votre formation par un OPCO
Contacts
.png){kind=spacer}
Nous vous accompagnons dans vos projets Data & IA
