Cours
Code digicomp : AWSD06
Data Engineering on AWS – Formation intensive
Description de la formation
Téléchargez au format PDF- Comprendre les rôles fondamentaux et les concepts clés de l’ingénierie des données, y compris les personas basés sur les données, l’exploration des données et les services AWS
- Identifier et expliquer les différents outils et services AWS indispensables à l’ingénierie des données et qui permettent l’orchestration, la sécurité, la surveillance, le CI/CD, l’IaC, la mise en réseau et l’optimisation des coûts
- Concevoir et mettre en œuvre une solution de lac de données sur AWS comprenant le stockage, l’ingestion de données, la transformation de données et la mise à disposition de données destinées à être utilisées
- Optimiser et sécuriser une solution de lac de données en mettant en œuvre les formats Open Table, des mesures de sécurité et en dépannant les problèmes courants
- Concevoir et mettre en place un entrepôt de données avec Amazon Redshift sans serveur, en comprendre l’architecture, l’ingestion des données, le traitement et les capacités de mise à disposition
- Appliquer les techniques d’optimisation des performances aux entrepôts de données dans Amazon redshift, y compris la surveillance, l’optimisation des données, l’optimisation des recherches et l’orchestration
- Gérer la sécurité et le contrôle des accès pour les entrepôts de données dans Amazon Redshift, comprendre l’authentification, la sécurité des données, l’audit et la conformité
- Concevoir des pipelines de données en lot efficaces avec les services AWS appropriés pour traiter et transformer des données
- Appliquer des stratégies globales pour les pipelines de données en lot qui comprennent le traitement, la transformation, l’intégration, le catalogage des données et la mise à disposition des données destinées à être utilisées
- Optimiser, orchestrer et sécuriser les pipelines de données en lot et utiliser des compétences avancées en automatisation et sécurité du traitement des données
- Concevoir l’architecture de pipelines de données de flux, comprendre les différents cas d’utilisation, l’ingestion, le stockage, le traitement et l’analyse avec les services AWS
- Optimiser et sécuriser les solutions de flux de données, y compris les considérations de conformité et le contrôle des accès
Une combinaison de théorie, exercices pratiques et activités permet aux participantes et participants d’apprendre à concevoir, construire, optimiser et sécuriser les solutions d'ingénierie de données avec les services AWS.
Des concepts fondamentaux à l’implémentation pratique de lac de données, d'entrepôts de données et de pipeline de données en lot ou en flux, ce cours donne aux professionnel.le.s des données les connaissances et compétences nécessaires pour concevoir l’architecture et gérer des solutions modernes de données.
Jour 1
1 Rôle de l’ingénierie des données et concepts clés
- Rôle de l’ingénieur de données
- Fonctions centrales de l’ingénieur de données
- Data Personas
- Data Discovery
- AWS Data Services
2 Outils et services AWS pour l’ingénierie des données
- Orchestration et automatisation
- La sécurité en ingénierie des données
- Surveillance
- Intégration continue et livraison continue
- L’infrastructure en tant que code
- Modèle AWS d’application sans serveur
- Considérations concernant le réseau
- Outils d’optimisation des coûts
3 Concevoir et déployer des lacs de données
- Introduction aux lacs de données
- Stockage des lacs de données
- Ingérer des données dans le lac de données
- Répertorier des données
- Transformer des données
- Données du serveur destinées à être utilisées
- Exercice pratique : Mettre en place un lac de données sur AWS
4 Optimiser et sécuriser une solution de lac de données
- Formats Open Table
- Sécuriser avec AWS Lake Formation
- Paramétrer les permissions avec Lake Formation
- Sécurité et gouvernance
- Résolution des erreurs
- Exercice pratique : Automatiser la création de lacs de données avec les blueprints AWS Lake Formation
Jour 2
5 Architecture d’entrepôt de données et principes de conception
- Introduction aux entrepôts de données
- Aperçu d’Amazon Redshift
- Ingérer des données dans Redshift
- Traitement des données
- Présentation des données destinées à être utilisées
- Exercice pratique : Mettre en place un entrepôt de données avec Amazon Redshift sans serveur
6 Techniques d’optimisation des performances pour les entrepôts de données
- Options de surveillance et d’optimisation
- Optimisation des données avec Amazon Redshift
- Rechercher des données avec Amazon Redshift
- Options d’orchestration
7 Sécurité et contrôle des accès pour les entrepôts de données
- Identification et contrôle des accès avec Amazon Redshift
- Sécurité des données avec Amazon Redshift
- Audit et conformité avec Amazon Redshift
- Exercice pratique : Gérer le contrôle des accès dans Redshift
8 Introduction à la conception de pipelines de données en lot (Batch Data Pipelines)
- Introduction à la conception de pipelines de données en lot
- Concevoir un pipeline de données en lot
- Les services AWS pour le traitement des données en lot
9 Mettre en œuvre des stratégies pour les pipelines de données en lot
- Les composants d’un pipeline de données en lot
- Traiter et transformer des données
- Intégrer et répertorier des données
- Présentation des données destinées à être utilisées
- Exercice pratique : Une journée dans la vie d’un ingénieur de données
Jour 3
10 Optimiser, orchestrer et sécuriser les pipelines de données en lot
- Optimiser un pipeline de données en lot
- Orchestrer un pipeline de données en lot
- Sécuriser un pipeline de données en lot
- Exercice pratique : Orchestrer le traitement des données dans Spark en utilisant AWS Step Functions
11 Les modèles d’architecture de flux de données
- Introduction au pipeline de flux de données
- Ingérer des données depuis des sources de flux
- Services d’ingestion pour les flux de données
- Stocker des donnes en flux
- Traiter les flux de données
- Analyser les flux de données avec les services AWS
- Exercice pratique : Diffuser des analytiques avec le service géré Amazon pour Apache Flink
12 Optimiser et sécuriser les solutions de flux de données
- Optimiser une solution de flux de données
- Sécuriser un pipeline de flux de données
- Considération de conformité
- Exercice pratique : Contrôle des accès avec le service géré pour Apache Kafka
Ce cours comprend des présentations, des exercices pratiques, des démonstrations et des exercices en groupe.
Ce cours s’adresse aux professionnel.le.s intéressés par la conception, la mise en place, l’optimisation et la sécurisation de solutions d’ingénierie de données avec les services AWS.
- Connaissances des concepts de machine learning tels que l’apprentissage supervisé et non supervisé, la régression, la classification et les algorithmes de groupement
- Connaissances pratiques du langage de programmation Python et des bibliothèques usuelles de science des données telles que NumPy, Pandas et Scikit-learn
- Connaissances de base des concepts du cloud computing et connaissances d’AWS
- Une familiarité avec SQL et les bases de données relationnelles est recommandée, mais pas obligatoire.
- Une expérience préalable avec des systèmes de contrôle de version telle que Git est utile, mais non obligatoire