Formation Apache Airflow

2 jours
--
chez Hymaïa

L’objectif de cette formation est de savoir maitriser les principes de l’orchestration de pipelines data avec Apache Airflow. Airflow est une plate-forme de gestion de flux de travail open source initialement créée par Airbnb en 2014.

Dans cette formation, nous verrons les grands principes des orchestrateurs et les bonnes pratiques à adopter pour utiliser AirFlow dans des contextes d’industrialisation de projets data.

Cette formation s’inscrit dans un parcours de Data Engineer ou de Data Scientist.

Prix*
1500€ HT
Prochaine session :
11 et 12 juin 2024
*finançable par l'OPCO En savoir plus

Objectifs

<div class="wrapper-block"><div class="wrapper-objectives"> <div class="icons-check"> </div>Vous serez à même d’utiliser AirFlow dans le contexte de vos projets data, et aurez une culture générale affinée autour des principaux orchestrateurs.</div></div>

Note

--

Public cible

  • Data Engineers
  • Data Ops Engineers
  • ML Engineers
  • Software Engineers

Prérequis

Aucun

Taux d'abandon

--

Programme détaillé

Télécharger

Introduction à l’orchestration

  • Qu’est-ce qu’un orchestrateur ?
  • Historique des outils existants
  • Pourquoi Airflow est partout ?

Le vocabulaire Airflow

  • DAG
  • DAG run
  • Tâche

Créer un DAG

  • Les éléments qui composent un DAG
  • Exercices pratiques

Configurer l’orchestration de son DAG

  • La start date
  • Reprise en cas d’erreur
  • Rejeu d’historique
  • Exercices pratiques

Les fonctionnalités de développement avancées

  • Les plugins
  • Architecturer le code de ses DAGs
  • Xcom : la base de données interne d’Airflow
  • Le pooling
  • Exercices pratiques

Aller plus loin !

  • Quand choisir Airflow et comment ?
  • Discussion et échanges sur votre contexte

Formateur(s)

Financer votre formation par un OPCO

En tant qu'organisme certifié Qualopi, les formations que nous vous proposons sont finançables par l'OPCO. Trouvez l'OPCO dont vous dépendez ici
Où nous trouver ?

Ces formations pourrait aussi vous intéressez

No items found.

Les prochains événements Hymaïa

JEU. 20 JUIN - 09:00
en savoir plus
chez Hymaïa

Hymatin : Data Strategy & Mesure de ROI

Appuyez-vous sur les bonnes compétences Data

Nous vous apporterons une réponse sur mesure en vous délivrant notre savoir technologique et méthodologique.