Formation Data Engineering sur AWS
Cette formation a pour objectif de vous former au métier de Data Engineer en utilisant les technos proposées par AWS. Pour ce faire nous avons créé un programme qui commence par de la théorie pour poser les bases de la Data Ingénieurie dans AWS puis des études de cas concrets que nous avons pu rencontrer et mettre en place chez nos clients.
Nous avons choisi de proposer un chapitre sur Kubernetes en option car nous estimons que ce sujet, qui peut faire parti du périmètre d’un Data Ingénieur, est très spécifique et plus marginale.
Objectifs
<div class="wrapper-block"><div class="wrapper-objectives"> <div class="icons-check"> </div>Acquérir de bonne pratique de développement logiciel sur le Cloud</div><div class="wrapper-objectives"> <div class="icons-check"> </div>Choisir le bon service managé</div><div class="wrapper-objectives"> <div class="icons-check"> </div>Architecturer son application</div><div class="wrapper-objectives"> <div class="icons-check"> </div>Mettre en place son Infra as Code et CI/CD</div></div>
Note
Public cible
- Développeur de toute spécialité
- Data Engineer débutant sur AWS
- ML Engineer
Prérequis
- Avoir un background de développeur
- Avoir un ordinateur sur lequel vous avez les droits d’administration
Taux d'abandon
Programme détaillé
Introduction au Cloud Computing
- Qu'est-ce que le Cloud ?
- Les différents types de services managés
- Les principaux fournisseurs de services Cloud (AWS, GCP, Azure)
- Comparaison des offres de services Cloud
- Apporter de la valeur en tant que Data Ingénieur dans un projet Cloud
Brève histoire du Big Data
- Croissance verticale et horizontale
- Les systèmes distribués
- La donnée en batch
- La donnée en temps réel
Tour d’horizon des services managés data AWS
- Object Storage: AWS Simple Storage Service (S3)
- Database: Relationnel et Document-Based
- Traitement
- Batch (EMR, Glue, Athena)
- Temps Réel (Kinesis)
- Configuration (Parameter Store, Secret Manager)
- Machine Learning (Sagemaker)
- Exposition (API gateway)
Du code local au cloud
- Architecturer mon application et mon code
- Infra as Code et CI/CD
- Tests et debugging
Les patterns classiques
- Collecte de donnée quotidienne
- Collecte événementielle en temps réel
- Entraînement et déploiement d’un modèle de ML
- Exposition d’un modèle de ML
Les bonnes pratiques de développement logiciel
- La donnée dans les tests unitaires / intégrations
- 12 factors app (Application-as-a-Service)
- Bien gérer ses secrets
Interagir avec Kubernetes (3è jour en option)
- CLI kubectl
- Récupérer des logs pour le debugging
- Tester son déploiement à la main
- Infra as Code
Formateur(s)
Photos
Financer votre formation par un OPCO
Sur le même sujet
Articles du blog
Vidéos
Le plus petit conteneur Docker en 1h
Comment dynamiser vos DataFrames Spark ?
Kubernetes en 1h pour les dev
Ces formations pourrait aussi vous intéressez
Comprendre les implications du règlement européen sur l’AI ("AI Act") pour votre entreprise
La Fresque de la Data et de l'IA
Formation Generative AI & LLM
Les prochains événements Hymaïa
