Tous nos articles
#DataEngineering
Retour
Poetry: enfin l’outil pour charmer Python ?

Jeune développeur, allons voir si ton wheel,
De son packaging si difficile,
Et de sa robe de pourpre sur ton poste,
A point perdu quand tu exportes
De sa compatibilité si complexe
Et de son gain si perplexe.

Ah le packaging en Python! Une étape nécessaire mais malheureusement assez douloureuse lors de la gestion des projets Python.

poetry - python pipenv pdm pyflow
Franck Cussac
Franck Cussac
17/5/2022
Spark : quand faire un cache sur une DataFrame ?

Pour améliorer les performances de votre job Spark, vous avez probablement déjà pensé à ajouter un cache sur une ou plusieurs de vos DataFrames. C’est même peut-être devenu une habitude.

dataframe cache pyspark spark cache persist
Benchmark Apache Spark : Préparation du test TPC-DS

Cette année, nous nous sommes lancés dans un projet de benchmark d’Apache Spark avec pour objectif d'être capable de déterminer les différences de temps d’exécution entre Spark avec Yarn et Spark sur Kubernetes. Nous partagerons nos différentes découvertes au fur et à mesure dans cette série d’articles.

#Passion

C’est la passion pour notre métier qui nous guide au quotidien. Cette passion est notre motivation intrinsèque.

#Intégrité

Nous sommes des êtres accomplis, qui prennent la responsabilité de leurs actions et idées.

#Pragmatisme

Nous sommes des doers, animés par un mindset agile et de test & learn. Nous faisons en sorte que actions débouchent sur des résultats concrets et mesurables.

illustration valeurs
Nos valeurs