Définition

Apache Spark est un framework de calcul distribué. Sa plus grande force réside dans le traitement batch de grands volumes de données. Il est également possible d'effectuer du traitement en streaming ou d'utiliser des modèles de machine learning. Cependant, pour ces dernières tâches, vous pourriez trouver d'autres outils plus adaptés ou performants, comme Apache Kafka pour le streaming ou PyTorch Distributed pour l'apprentissage machine distribué.

Fait intéressant

💡 Apache Spark est nativement développé en Scala et a largement contribué à la popularité de ce langage de programmation. Cependant, aujourd'hui, c'est son API Python qui est la plus populaire, malgré des limitations de performance selon certaines fonctionnalités utilisées. Les dernières évolutions de Spark se concentrent beaucoup sur l'API Python.

‍

Vous avez besoin d'un Data Engineer dans votre équipe ?

Contactez-nous!  

Nos missions en régie sont votre passerelle vers des solutions sur mesure, des initiatives dynamiques et un renforcement de vos compétences internes. Nos missions durent entre 3 et 12 mois.

‍