Qu'est-ce qu'une Modern Data Stack ?

La Modern Data Stack (MDS) est une architecture de donnees composee d'outils cloud-native, modulaires et specialises, conçus pour fonctionner ensemble. Elle s'oppose aux solutions monolithiques traditionnelles (Informatica, SSIS, Teradata on-premise) en privilegiant des briques best-of-breed interconnectees via des APIs et des formats standards.

Origines et contexte

Le concept a emerge au debut des annees 2020, porte par la convergence de plusieurs facteurs : la maturite du Cloud (AWS, GCP, Azure), l'essor des entrepots de donnees cloud-native comme Snowflake et BigQuery, et l'emergence d'outils open source puissants comme dbt et Airflow. L'idee fondatrice : une equipe de Data Engineers et d'Analytics Engineers doit pouvoir monter une Data Platform performante en quelques semaines, pas en quelques mois.

Les cinq couches de la Modern Data Stack

1. Ingestion des donnees

La premiere etape consiste a collecter les donnees depuis les sources operationnelles : bases de donnees, APIs, SaaS, fichiers, evenements. Les outils specialises comme Fivetran, Airbyte (open source) ou Stitch automatisent la replication des donnees vers l'entrepot. Pour les besoins en temps reel, Apache Kafka ou AWS Kinesis gerent le streaming. L'Ingestion Batch reste le pattern dominant pour la majorite des cas d'usage analytiques.

2. Stockage des donnees

Le coeur de la MDS est l'entrepot de donnees cloud-native (cloud data warehouse). Snowflake, Google BigQuery et Amazon Redshift sont les trois acteurs dominants. Ils separent le stockage du calcul, permettant de scaler independamment. Pour les cas d'usage qui necessitent du stockage brut (data lake), Amazon S3, Google Cloud Storage ou Azure Data Lake Storage sont utilises, souvent avec des formats ouverts comme Parquet ou Delta Lake.

3. Transformation des donnees

C'est la couche ou les donnees brutes deviennent exploitables. dbt (data build tool) a revolutionne cette etape en permettant aux Analytics Engineers d'ecrire des transformations en SQL, versionnees dans Git, testees et documentees. Apache Spark reste utilise pour les transformations complexes ou les tres gros volumes. Cette couche est aussi celle ou se materialise le Data Lineage : tracer la provenance et les transformations de chaque donnee.

4. Analyse et visualisation

Les donnees transformees sont consommees par des outils de BI et d'exploration. Looker, Tableau et Power BI sont les leaders. Metabase et Apache Superset offrent des alternatives open source. La tendance recente est au "metrics layer" : definir les metriques metier une seule fois (dans dbt ou un outil dedie) pour garantir la coherence entre tous les dashboards.

5. Gouvernance et qualite

La couche transversale qui garantit la fiabilite de l'ensemble. La Data Governance couvre la gestion des acces, la conformite reglementaire (RGPD), la documentation des donnees et le catalogage. Des outils comme Monte Carlo, Soda ou Great Expectations assurent la surveillance de la qualite des donnees. Le Data Lineage, fourni nativement par dbt ou par des outils dedies comme Atlan, permet de comprendre l'impact d'un changement sur l'ensemble de la chaine.

Forces et limites

La MDS apporte une flexibilite reelle : chaque brique peut etre remplacee independamment, les couts sont variables (pay-as-you-go), et le time-to-value est court. Une equipe de 2-3 Data Engineers peut deployer une stack complete en quelques semaines.

Mais cette modularite a un cout. La multiplication des outils genere de la complexite operationnelle : gestion de multiples comptes, contrats, versions, interfaces. Le "Modern Data Stack Tax" — le cout cumule des abonnements SaaS — peut devenir significatif. C'est pourquoi certaines organisations evoluent vers des plateformes plus integrees (Databricks, Snowflake avec ses extensions natives) tout en conservant les principes fondamentaux de la MDS.

Qui opere la Modern Data Stack

Le Data Engineer concoit et maintient l'infrastructure et les pipelines. L'Analytics Engineer ecrit les transformations et les tests dans dbt. Le Data Analyst consomme les donnees transformees pour produire des analyses. Le Data Steward veille a la gouvernance et a la qualite. Cette repartition des roles est une caracteristique de la MDS : chaque profil a des outils adaptes a son niveau d'expertise technique.

Evolution : de la MDS au data lakehouse

La frontiere entre data warehouse et data lake s'estompe. Le concept de data lakehouse, popularise par Databricks avec Delta Lake, promet de combiner la performance analytique du warehouse avec la flexibilite du lake. Les formats ouverts (Apache Iceberg, Delta Lake, Apache Hudi) permettent de requeter des donnees stockees dans un lake avec les performances d'un warehouse. C'est probablement la prochaine etape de l'evolution de la Modern Data Stack.