Qu'est-ce qu'Apache Spark ?

Apache Spark est un moteur de traitement de donnees distribue, open source, capable de gerer des volumes allant du gigaoctet au petaoctet. Developpe a l'origine au laboratoire AMPLab de l'Universite de Berkeley en 2009, puis confie a la fondation Apache en 2013, Spark est devenu la reference pour le traitement de donnees massives. Son atout principal : le traitement en memoire (in-memory computing), qui evite les ecritures disque intermediaires et accelere les calculs d'un ordre de grandeur par rapport a Hadoop MapReduce.

Architecture et fonctionnement

Spark repose sur une architecture maitre-worker :

• Le Driver (maitre) orchestre l'execution : il recoit le programme utilisateur, le decompose en taches (tasks), et les distribue aux workers.
• Les Executors (workers) executent les taches en parallele sur les noeud du cluster et stockent les donnees intermediaires en memoire.

L'abstraction centrale est le DataFrame (anciennement RDD — Resilient Distributed Dataset). Un DataFrame est une collection de donnees distribuee sur le cluster, sur laquelle on applique des transformations (filter, map, join) et des actions (count, collect, write). Les transformations sont "lazy" : elles ne s'executent que quand une action est declenchee, ce qui permet a Spark d'optimiser le plan d'execution global.

Les modules de Spark

Spark n'est pas un outil unique mais une plateforme composee de plusieurs modules :

• Spark SQL : permet de requeter des donnees structurees avec du SQL standard. C'est le module le plus utilise. Il s'integre avec les formats Parquet, Delta Lake, ORC et peut se connecter aux entrepots de donnees comme Snowflake ou BigQuery.
• Spark Structured Streaming : traitement de flux de donnees en temps reel (ou plutot en micro-batch). Il utilise le meme modele de programmation que Spark SQL, ce qui simplifie le passage du batch au streaming.
• MLlib : bibliotheque de machine learning distribuee. Elle fournit des algorithmes classiques (regression, classification, clustering, recommandation) scalables sur de gros volumes. Pour les modeles de deep learning, on utilise plutot des frameworks dedies (PyTorch, TensorFlow) combines avec Spark pour le preprocessing.
• GraphX : module de traitement de graphes. Moins utilise que les autres, il permet des calculs sur des structures de graphes (PageRank, composantes connexes).

Performance et optimisation

La vitesse de Spark repose sur plusieurs mecanismes :

• Catalyst Optimizer : l'optimiseur de requetes SQL de Spark analyse et reorganise le plan d'execution pour minimiser les shuffles (echanges de donnees entre noeud) et maximiser le parallelisme.
• Tungsten : moteur d'execution bas niveau qui gere la memoire manuellement (hors garbage collector Java) pour des performances proches du code compile.
• Partitionnement : les donnees sont decoupees en partitions distribuees sur le cluster. Un bon partitionnement est la cle de la performance : trop de partitions genere de l'overhead, trop peu cree des goulots d'etranglement.

Le Data Engineer qui travaille avec Spark passe une part significative de son temps a optimiser les jobs : ajuster le nombre de partitions, eviter les shuffles inutiles, choisir les bons formats de stockage, dimensionner le cluster.

Ecosysteme et deploiement

Spark s'execute sur plusieurs gestionnaires de ressources :

• YARN (Hadoop) : le mode historique, encore tres utilise dans les entreprises qui ont un cluster Hadoop existant.
• Kubernetes : de plus en plus adopte, il permet de faire tourner Spark dans des conteneurs avec une gestion elastique des ressources.
• Standalone : le mode integre de Spark, adapte aux petits clusters ou au developpement.

Les services Cloud manages simplifient l'utilisation : AWS EMR, Google Dataproc, Azure HDInsight et Databricks (fonde par les createurs de Spark) gerent le provisionnement et le scaling du cluster. Databricks a ajoute des couches proprietaires (Delta Lake, Unity Catalog, Photon) qui etendent les capacites de Spark, en particulier pour les architectures lakehouse.

Cas d'usage

Spark est utilise a travers toute la Modern Data Stack :

• Ingestion Batch et ETL : transformation de donnees brutes en donnees exploitables, chargement dans un entrepot ou un data lake. C'est le cas d'usage historique.
• Feature engineering pour le ML : calcul de features a grande echelle pour alimenter un Feature Store, preparation de jeux d'entrainement pour les modeles de machine learning.
• Analyse exploratoire : les Data Engineers et Data Scientists utilisent Spark en mode interactif (notebooks) pour explorer de gros datasets.
• Streaming : traitement de flux de donnees en quasi temps reel pour des cas d'usage comme la detection de fraude ou le monitoring.

Spark et les alternatives

PySpark (l'API Python de Spark) est l'interface la plus utilisee. Pour les volumes moderees (quelques gigaoctets), des alternatives plus legeres comme DuckDB, Polars ou pandas suffisent et sont plus simples a utiliser. Spark prend tout son sens quand les donnees ne tiennent plus sur une seule machine et que le traitement distribue devient necessaire.