Formation Apache Airflow

2 jours
--
chez Hymaïa

L’objectif de cette formation est de savoir maitriser les principes de l’orchestration de pipelines data avec Apache Airflow. Airflow est une plate-forme de gestion de flux de travail open source initialement créée par Airbnb en 2014.

Dans cette formation, nous verrons les grands principes des orchestrateurs et les bonnes pratiques à adopter pour utiliser AirFlow dans des contextes d’industrialisation de projets data.

Cette formation s’inscrit dans un parcours de Data Engineer ou de Data Scientist.

Prix*
1500€ HT
Prochaine session :
Nous contacter
*finançable par l'OPCO En savoir plus

Objectifs

<div class="wrapper-block"><div class="wrapper-objectives"> <div class="icons-check"> </div>Vous serez à même d’utiliser AirFlow dans le contexte de vos projets data, et aurez une culture générale affinée autour des principaux orchestrateurs.</div></div>

Note

--

Public cible

  • Data Engineers
  • Data Ops Engineers
  • ML Engineers
  • Software Engineers

Prérequis

Aucun

Taux d'abandon

--

Programme détaillé

Télécharger

Introduction à l’orchestration

  • Qu’est-ce qu’un orchestrateur ?
  • Historique des outils existants
  • Pourquoi Airflow est partout ?

Le vocabulaire Airflow

  • DAG
  • DAG run
  • Tâche

Créer un DAG

  • Les éléments qui composent un DAG
  • Exercices pratiques

Configurer l’orchestration de son DAG

  • La start date
  • Reprise en cas d’erreur
  • Rejeu d’historique
  • Exercices pratiques

Les fonctionnalités de développement avancées

  • Les plugins
  • Architecturer le code de ses DAGs
  • Xcom : la base de données interne d’Airflow
  • Le pooling
  • Exercices pratiques

Aller plus loin !

  • Quand choisir Airflow et comment ?
  • Discussion et échanges sur votre contexte

Formateur(s)

Financer votre formation par un OPCO

En tant qu'organisme certifié Qualopi, les formations que nous vous proposons sont finançables par l'OPCO. Trouvez l'OPCO dont vous dépendez ici
Où nous trouver ?

Ces formations pourrait aussi vous intéressez

No items found.

Notre prochain événement

Data Night Tech Talk #3 - Data to AI end-to-end

MER. 20 MARS - 19:00
Free
Hybrid
détails et inscription

Appuyez-vous sur les bonnes compétences Data

Nous vous apporterons une réponse sur mesure en vous délivrant notre savoir technologique et méthodologique.