Formation Data Engineering sur AWS

Vous aurez acquis les compétences structurantes pour travailler en tant que Data Engineer dans un projet utilisant AWS et continuer d’apprendre plus facilement par vous même :

• Acquérir de bonne pratique de développement logiciel sur le Cloud
• Choisir le bon service managé
• Architecturer son application
• Mettre en place son Infra as Code et CI/CD

‍

• Développeur de toute spécialité
• Data Engineer débutant sur AWS
• ML Engineer

‍

Avoir un background de développeur

Avoir un ordinateur sur lequel vous avez les droits d’administration

‍

Introduction au Cloud Computing

• Qu'est-ce que le Cloud ?
• Les différents types de services managés
• Les principaux fournisseurs de services Cloud (AWS, GCP, Azure)
• Comparaison des offres de services Cloud
• Apporter de la valeur en tant que Data Ingénieur dans un projet Cloud

Brève histoire du Big Data

• Croissance verticale et horizontale
• Les systèmes distribués
• La donnée en batch
• La donnée en temps réel

Tour d’horizon des services managés data AWS

• Object Storage: AWS Simple Storage Service (S3)
• Database: Relationnel et Document-Based
• Traitement
• Batch (EMR, Glue, Athena)
• Temps Réel (Kinesis)
• Configuration (Parameter Store, Secret Manager)
• Machine Learning (Sagemaker)
• Exposition (API gateway)

Du code local au cloud

• Architecturer mon application et mon code
• Infra as Code et CI/CD
• Tests et debugging

Les patterns classiques

• Collecte de donnée quotidienne
• Collecte événementielle en temps réel
• Entraînement et déploiement d’un modèle de ML
• Exposition d’un modèle de ML

Les bonnes pratiques de développement logiciel

• La donnée dans les tests unitaires / intégrations
• 12 factors app (Application-as-a-Service)
• Bien gérer ses secrets

Interagir avec Kubernetes (3è jour en option)

• CLI kubectl
• Récupérer des logs pour le debugging
• Tester son déploiement à la main
• Infra as Code

‍