Apache Airflow
Comment industrialiser ses workflows data avec Apache Airflow ? De la création de DAGs au monitoring en production, maîtrisez l'orchestrateur le plus utilisé du marché avec les bonnes pratiques d'industrialisation.
2 jours
Max 7 participants
1500€ HT/pers ou 9000€HT en intra
Nous contacter
Les apprentissages clés
de la formation
Comprendre l'orchestration et Airflow
Comprendre le rôle d'un orchestrateur, pourquoi Airflow s'est imposé comme standard et maîtriser son vocabulaire (DAG, DAG run, tâches, opérateurs).
Créer et configurer des DAGs
Construire des DAGs, gérer les dépendances entre tâches, configurer le scheduling, la reprise sur erreur et le rejeu d'historique.
Industrialiser ses pipelines
Architecturer le code de ses DAGs, utiliser les fonctionnalités avancées (sensors, Xcom, pooling, branching) et monitorer ses pipelines en production.
Les modules de la formation
Huit modules pour passer de la découverte d'Airflow à l'industrialisation de ses pipelines data, avec des exercices pratiques à chaque étape.
Fondations de l'orchestration
Comprendre le rôle d'un orchestrateur, l'historique des outils du marché et les concepts fondamentaux d'Airflow.
Objectifs :
- Comprendre ce qu'est un orchestrateur et pourquoi Airflow s'est imposé comme standard
- Maîtriser le vocabulaire Airflow : DAG, DAG run, tâche, opérateur, executor
- Comprendre l'architecture d'Airflow : scheduler, webserver, metadata database
MODULES :
- Rôle d'un orchestrateur et historique des outils du marché
- Vocabulaire Airflow : DAG, DAG run, tâche, opérateur, executor
- Architecture d'Airflow : scheduler, webserver, metadata database
Créer et configurer ses DAGs
Construire ses premiers DAGs, gérer les dépendances entre tâches et configurer l'orchestration.
Objectifs :
- Créer un DAG avec les différents types d'opérateurs (PythonOperator, BashOperator, etc.)
- Définir les dépendances entre tâches et gérer le parallélisme
- Configurer le scheduling, la start date, la reprise sur erreur et le rejeu d'historique
MODULES :
- Architecture et organisation du code de ses DAGs (structure de projet, réutilisabilité)
- Tests de DAGs : tests unitaires, validation de la structure, CI/CD
- Monitoring en production et critères de choix d'Airflow selon son contexte
Fonctionnalités avancées
Maîtriser les fonctionnalités avancées d'Airflow pour des pipelines robustes et flexibles.
Objectifs :
- Échanger des données entre tâches avec Xcom et gérer la concurrence avec le pooling
- Implémenter du branching conditionnel et utiliser les sensors pour attendre des événements
- Créer des DAGs dynamiques et utiliser les plugins pour étendre Airflow
MODULES :
- Échange de données entre tâches avec Xcom et gestion de la concurrence avec le pooling
- Branching conditionnel et sensors pour attendre des événements
- DAGs dynamiques et plugins pour étendre Airflow
Industrialisation et bonnes pratiques
Architecturer le code de ses DAGs pour la production, tester et choisir Airflow à bon escient selon son contexte.
Objectifs :
- Architecturer et organiser le code de ses DAGs (structure de projet, réutilisabilité)
- Tester ses DAGs : tests unitaires, validation de la structure, CI/CD
- Monitorer ses pipelines en production et choisir Airflow selon son contexte
MODULES :
- Architecture et organisation du code de ses DAGs (structure de projet, réutilisabilité)
- Tests de DAGs : tests unitaires, validation de la structure, CI/CD
- Monitoring en production et critères de choix d'Airflow selon son contexte
Les petits + de la formation
Des ateliers ludiques et participatifs
Nous avons créé les Fresques de la data et de l’IA générative pour rendre l’apprentissage de concepts ludique et accessibles au plus grand nombre.
Des formats gamifiés et innovants
Nous avons imaginés des jeux pour apprendre les bonnes pratiques de prompting et appréhender différents types d’IA génératives.
Toutes nos formations sont finançable par votre OPCO
Ces formations pourraient aussi vous intéresser
ces offres pourraient aussi vous intéresser
Ces contenus pourraient
aussi vous intéresser
Article
Tech & Data
5 min
🌶️
Débutants
Comment leboncoin forme ses Product & Engineering Managers aux enjeux Data & IA.
28.01.2026
Article
Tech & Data
15 min
🌶️
🌶️
Confirmés
Surveiller les accès à vos données AWS avec CloudTrail, EventBridge, Lambda et Firehose.
24.06.2025
Article
Tech & Data
10 min
🌶️
🌶️
Experts
Combiner AWS SageMaker et Lambda pour des prédictions ML en temps réel, sans gérer de serveurs.
12.05.2025
Vidéo
Tech & Data
Quels sont les challenges d'un Lead AI dans une scale-up qui veut faire de l'IA son cheval de bataille stratégique ?
Quels sont les challenges d'un Lead AI dans une scale-up qui veut faire de l'IA son cheval de bataille stratégique ?
Au cours de cette interview, Remi Takase, Lead AI de Mirakl, nous expliquera son quotidien, ses questionnements et ses challenges passés et à venir.
08.07.2025
Vidéo
Tech & Data
Gaël Varoquaux est le co-fondateur de scikit-learn, le projet open-source le plus utilisé pour faire du Machine Learning en Python. Directeur de recherche à l’Inria, il est aussi membre du récent comité scientifique pour l’Intelligence Artificielle Générative. Il nous accorde une interview exclusive durant laquelle il nous partage ses convictions sur l'avenir de l'IA et sur la place de l'open-source.e
Au programme :
- Sa vision Produit autour de scikit-learn et son avenir - et plus généralement la place de l’open-source dans la tech et l’IA
- Ses travaux de recherche à l’Inria - en particulier les applications du Machine Learning sur des questions de santé et de société
- Ses messages et convictions sur les challenges à venir en IA - messages qu’il porte auprès du comité de l'intelligence artificielle générative
08.07.2025
01.07.2025
Construisons votre parcours de formation
Discutons de vos besoins en formation et créons un programme sur mesure pour vos équipes.