Formation Spark pour développeurs
Cette formation a pour objectif de vous fournir l’ensemble des connaissances et compétences nécessaires pour utiliser Apache Spark dans vos projets de Data Engineering au quotidien. Elle vous donnera les fondamentaux théoriques nécessaires pour comprendre son fonctionnement interne et sa philosophie, et vous permettra de développer une expertise hands’on sur ses principaux concepts et cas d’utilisation, allant de l’ingestion de données au déploiement.
Objectifs
<div class="wrapper-block"><div class="wrapper-objectives"> <div class="icons-check"> </div>Vous aurez acquis les connaissances théoriques essentielles autour de Spark, et aurez développé une expertise technique pour être capable d’utiliser Spark au quotidien en tant que développeur sur vos différents projets data.</div></div>
Note
Public cible
- Data Engineers
- Software Engineers
- ML Engineers
- Data Scientists
Prérequis
- Une connaissance initiale de la programmation en Python ou Scala est recommandée.
- Quelques intuitions sur le Big Data de manière générale est aussi un plus, mais n’est pas obligatoire.
Taux d'abandon
Programme détaillé
L’apparition du Big Data
- Croissance verticale et horizontale
- Les systèmes distribués
- Map Reduce
Les concepts de base de Spark
- Partitionning
- Lineage
- Optimisation
- Parallélisation
Ma première application Spark
- Batch, Streaming et ML
- Créer une application Spark
- Comment traiter la donnée : RDD, Dataset, DataFrame
- Le format parquet
- Les systèmes de stockage
Transformer sa donnée (les bases)
- Opérations Map
- Opérations Reduce
- Les fonctions sur colonne
- L’objet colonne
Tester son application Spark
- Tests unitaires
- Tests d’intégrations
- Préparer ses jeux de données
Fonctionnement interne de Spark
- Le cache
- Les jointures
- Le shuffle
- La mémoire
Les opérations de transformations de données avancées
- UDF
- UDAF
- Window functions
Déployer un job Spark
- Choisir son environnement
- Spark-submit
- Configurer son job Spark
Formateur(s)
Photos
Financer votre formation par un OPCO
Sur le même sujet
Articles du blog
Vidéos
Engines & DuckDB by Blef
[Blablacar] Meet Emmanuel - VP Data
L'IA éthique by design chez Brut
Ces formations pourrait aussi vous intéressez
Formation Data Engineering sur AWS
Les prochains événements Hymaïa
Hymaday - (Gen)AI au coeur du Produit et du Business
