Formation Spark pour développeurs

2 jours
3 participants
chez Hymaïa

Cette formation a pour objectif de vous fournir l’ensemble des connaissances et compétences nécessaires pour utiliser Apache Spark dans vos projets de Data Engineering au quotidien. Elle vous donnera les fondamentaux théoriques nécessaires pour comprendre son fonctionnement interne et sa philosophie, et vous permettra de développer une expertise hands’on sur ses principaux concepts et cas d’utilisation, allant de l’ingestion de données au déploiement.

Prix*
2000€ HT
Prochaine session :
Nous contacter
*finançable par l'OPCO En savoir plus

Objectifs

<div class="wrapper-block"><div class="wrapper-objectives"> <div class="icons-check"> </div>Vous aurez acquis les connaissances théoriques essentielles autour de Spark, et aurez développé une expertise technique pour être capable d’utiliser Spark au quotidien en tant que développeur sur vos différents projets data.</div></div>

Note

8,5/10

Public cible

  • Data Engineers
  • Software Engineers
  • ML Engineers
  • Data Scientists

Prérequis

  • Une connaissance initiale de la programmation en Python ou Scala est recommandée.
  • Quelques intuitions sur le Big Data de manière générale est aussi un plus, mais n’est pas obligatoire.

Taux d'abandon

0%

Programme détaillé

Télécharger

L’apparition du Big Data

  • Croissance verticale et horizontale
  • Les systèmes distribués
  • Map Reduce

Les concepts de base de Spark

  • Partitionning
  • Lineage
  • Optimisation
  • Parallélisation

Ma première application Spark

  • Batch, Streaming et ML
  • Créer une application Spark
  • Comment traiter la donnée : RDD, Dataset, DataFrame
  • Le format parquet
  • Les systèmes de stockage

Transformer sa donnée (les bases)

  • Opérations Map
  • Opérations Reduce
  • Les fonctions sur colonne
  • L’objet colonne

Tester son application Spark

  • Tests unitaires
  • Tests d’intégrations
  • Préparer ses jeux de données

Fonctionnement interne de Spark

  • Le cache
  • Les jointures
  • Le shuffle
  • La mémoire

Les opérations de transformations de données avancées

  • UDF
  • UDAF
  • Window functions

Déployer un job Spark

  • Choisir son environnement
  • Spark-submit
  • Configurer son job Spark

Formateur(s)

Photos

No items found.

Financer votre formation par un OPCO

En tant qu'organisme certifié Qualopi, les formations que nous vous proposons sont finançables par l'OPCO. Trouvez l'OPCO dont vous dépendez ici
Où nous trouver ?

Ces formations pourrait aussi vous intéressez

2 jours
1500€ HT
2-3 juillet 2024

Formation Data Engineering sur AWS

en detail

Les prochains événements Hymaïa

LUN 25 NOV.
en savoir plus
Fondation Biermans-Lapôtre, Paris

Forward Data Conference

Our mission is to build a conference that serves as a dynamic knowledge-sharing hub, where every participant can find their place and thrive.

Appuyez-vous sur les bonnes compétences Data

Nous vous apporterons une réponse sur mesure en vous délivrant notre savoir technologique et méthodologique.