Qu'est-ce qu'une Data Platform ?

Une Data Platform est l'environnement technologique qui centralise les capacites de gestion des donnees d'une organisation. Elle fournit les briques reutilisables — stockage, traitement, orchestration, gouvernance, distribution — qui permettent aux equipes de construire des produits data sans repartir de zero a chaque projet.

Les 6 fonctions d'une Data Platform

#### 1. Collecte et ingestion

La plateforme integre les donnees provenant de sources heterogenes : bases de donnees operationnelles, API tierces, fichiers, flux d'evenements, IoT. L'ingestion peut fonctionner en mode batch (traitements planifies, typiquement nocturnes) ou en mode streaming (traitement en temps reel ou quasi-reel). Les outils courants incluent Airbyte, Fivetran, Kafka, ou des connecteurs natifs des cloud providers.

#### 2. Stockage

Les donnees sont stockees selon leur nature et leur usage :

• Data Lake : stockage brut, a faible cout, qui conserve les donnees dans leur format d'origine. Convient aux donnees non structurees et aux volumes massifs.
• Data Warehouse : stockage structure et optimise pour les requetes analytiques. BigQuery (GCP), Snowflake, Redshift (AWS), Databricks.
• Lakehouse : architecture hybride qui combine la flexibilite du data lake avec les performances du data warehouse. Delta Lake et Apache Iceberg sont les formats de table dominants.

#### 3. Transformation

Les donnees brutes sont nettoyees, enrichies, agregees et modelisees pour etre exploitables. dbt (data build tool) s'est impose comme le standard pour les transformations SQL dans le data warehouse. Pour les traitements distribues a grande echelle, Spark reste la reference. Les Analytics Engineers sont les principaux utilisateurs de cette couche.

#### 4. Analyse et exploration

La plateforme fournit les interfaces pour explorer et analyser les donnees : requetes SQL, notebooks (Jupyter, Databricks), outils BI (Looker, Metabase, Tableau, Power BI). C'est la couche qui rend les donnees accessibles aux Data Analysts et aux equipes metier.

#### 5. Gouvernance et securite

Gestion des acces (qui peut voir quoi), catalogue de donnees (quelles donnees existent et ou), Data Lineage (d'ou viennent les donnees et comment elles sont transformees), qualite des donnees (controles automatises). Cette couche materialise les politiques de Data Governance de l'organisation.

#### 6. Distribution et serving

Les donnees traitees sont mises a disposition de leurs consommateurs : dashboards pour le reporting, API pour les applications, Feature Stores pour les modeles de Machine Learning, exports pour les partenaires. Dans une approche Data as a Product, chaque jeu de donnees est distribue avec sa documentation, ses SLA et son interface standardisee.

Data Platform et Modern Data Stack

Le Modern Data Stack designe l'ensemble des outils cloud-native qui composent une Data Platform contemporaine. Ses caracteristiques :

• Cloud-native : heberge sur AWS, GCP ou Azure, avec facturation a l'usage et scalabilite elastique.
• Modulaire : chaque fonction est assuree par un outil specialise (best-of-breed), plutot que par une suite monolithique.
• SQL-first : SQL comme lingua franca, rendant les donnees accessibles a un public plus large que les seuls developpeurs.
• Versionne : le code de transformation (dbt), l'infrastructure (Terraform) et les configurations sont geres en Git.

Data Platform et Data Mesh

Dans une architecture Data Mesh, la Data Platform joue un role specifique : elle devient une plateforme en self-service que les equipes de domaine utilisent en autonomie pour construire et publier leurs Data Products. L'equipe plateforme ne construit pas les pipelines des domaines — elle fournit les outils, les templates et les guardrails pour que les domaines le fassent eux-memes.

Ce modele change le role des Data Engineers : certains travaillent sur la plateforme (infrastructure, tooling), d'autres au sein des domaines metier (pipelines, Data Products).

Comment dimensionner sa Data Platform

Le choix d'architecture depend de plusieurs facteurs :

• Volume et variete des donnees : quelques tables relationnelles vs des petaoctets de donnees non structurees.
• Nombre d'utilisateurs : 5 analystes vs 500 consommateurs de donnees.
• Latence attendue : reporting J+1 vs tableaux de bord temps reel.
• Competences disponibles : une equipe qui maitrise SQL n'a pas les memes besoins qu'une equipe qui fait du Spark distribue.
• Budget : les solutions managees (Snowflake, Databricks) reduisent l'effort d'operation mais coutent plus cher a l'echelle. Les solutions open source (dbt Core, Airflow, Trino) offrent plus de controle mais necessitent des competences d'operation.

L'erreur courante est de sur-dimensionner la plateforme par rapport aux besoins reels. Une Data Platform efficace commence simple et evolue avec les usages.