Formation Spark pour développeurs

Cette formation a pour objectif de vous fournir l’ensemble des connaissances et compétences nécessaires pour utiliser Apache Spark dans vos projets de Data Engineering au quotidien. Elle vous donnera les fondamentaux théoriques nécessaires pour comprendre son fonctionnement interne et sa philosophie, et vous permettra de développer une expertise hands’on sur ses principaux concepts et cas d’utilisation, allant de l’ingestion de données au déploiement.

2 jours

2000€ HT

8 et 9 mars 2023

3 participants

#DataEngineer

#Spark

Objectifs

Vous aurez acquis les connaissances théoriques essentielles autour de Spark, et aurez développé une expertise technique pour être capable d’utiliser Spark au quotidien en tant que développeur sur vos différents projets data.

Public cible

Data Engineers
Software Engineers
ML Engineers
Data Scientists

Prérequis

Une connaissance initiale de la programmation en Python ou Scala est recommandée.
Quelques intuitions sur le Big Data de manière générale est aussi un plus, mais n’est pas obligatoire.

Franck Cussac

Anis Zakari

Programme détaillé

Télécharger

L’apparition du Big Data

Croissance verticale et horizontale
Les systèmes distribués
Map Reduce

Les concepts de base de Spark

Partitionning
Lineage
Optimisation
Parallélisation

Ma première application Spark

Batch, Streaming et ML
Créer une application Spark
Comment traiter la donnée : RDD, Dataset, DataFrame
Le format parquet
Les systèmes de stockage

Transformer sa donnée (les bases)

Opérations Map
Opérations Reduce
Les fonctions sur colonne
L’objet colonne

Tester son application Spark

Tests unitaires
Tests d’intégrations
Préparer ses jeux de données

Fonctionnement interne de Spark

Le cache
Les jointures
Le shuffle
La mémoire

Les opérations de transformations de données avancées

UDF
UDAF
Window functions

Déployer un job Spark

Choisir son environnement
Spark-submit
Configurer son job Spark

Les statistiques

8,5/10

‍

Taux d'abandon

Nombre de participants total

3 participants

Note de satisfaction

Montez en compétences avec nos formations Data spécialisées

Où nous trouver ?