Formation Ingénierie des données sur Google Cloud

Concevez, déployez et optimisez des architectures Data performantes et évolutives pour libérer la valeur de vos données d'entreprise.

Bâtissez des pipelines de données massifs et scalables : maîtrisez le traitement en temps réel et en batch avec Dataflow, l'entreposage analytique sur BigQuery, le streaming d'événements via Pub/Sub et la modélisation de données complexes sur Google Cloud.

4 jours (28 h)

Inter : 4 368 € HT/pers

Intra : nous consulter

-- Pipeline analytique partitionné et optimisé sur BigQuery
CREATE OR REPLACE TABLE `my_project.analytics.daily_metrics`
PARTITION BY DATE(event_timestamp)
CLUSTER BY user_id AS
SELECT
	user_id,
	TIMESTAMP_TRUNC(event_timestamp, DAY) AS event_date,
	COUNT(1) AS total_events,
	SUM(transaction_amount) AS revenue
FROM
	`my_project.raw_data.stream_events`
WHERE
	event_timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
GROUP BY
	1, 2;

Description

L'ingénierie des données est le pilier indispensable de la transformation analytique et décisionnelle moderne. Cette formation spécialisée sur Google Cloud Platform (GCP) vous enseigne comment concevoir des pipelines d'ingestion et de transformation de données à grande échelle. Vous découvrirez l'utilisation combinée de BigQuery, Pub/Sub, Cloud Dataflow (Apache Beam), Dataproc et Bigtable. Un cursus intensif conçu pour les développeurs, data engineers et architectes souhaitant structurer des flux de données fiables, sécurisés et optimisés en coûts.

Les objectifs

Concevoir des systèmes de traitement de données évolutifs dans Google Cloud.
Construire et gérer des pipelines de données robustes en streaming et en batch.
Différencier les architectures de données et implémenter les concepts de lakehouse et de pipelines de données.
Utiliser les outils IA/ML pour optimiser les performances et obtenir des informations sur les processus et les données.

Public visé

Ingénieurs de données, Analystes de données, Architectes de données

Prérequis

Compréhension des principes d'ingénierie des données, y compris les processus ETL/ELT, la modélisation des données et les formats de données courants (Avro, Parquet, JSON).
Familiarité avec les concepts d'architecture de données, en particulier les entrepôts de données (Data Warehouses) et les lacs de données (Data Lakes).
Maîtrise de SQL pour l'interrogation des données.
Maîtrise d'un langage de programmation courant (Python recommandé).
Familiarité avec l'utilisation des interfaces de ligne de commande (CLI).
Familiarité avec les concepts et services de base de Google Cloud (Compute, Storage et gestion des identités).

Le programme

1. 01 - Tâches et composants de l'ingénierie des données

Objectifs
Expliquer le rôle d'un ingénieur de données.
Comprendre les différences entre une source de données et un récepteur de données.
Expliquer les différents types de formats de données.
Expliquer les options de solutions de stockage sur Google Cloud.
Découvrir les options de gestion des métadonnées sur Google Cloud.
Comprendre comment partager facilement des jeux de données avec Analytics Hub.
Comprendre comment charger des données dans BigQuery à l'aide de la console Google Cloud ou de la CLI gcloud.
Sujets abordés
Le rôle d'un ingénieur de données
Sources de données versus récepteurs de données
Formats de données
Options de solutions de stockage sur Google Cloud
Options de gestion des métadonnées sur Google Cloud
Partage de jeux de données avec Analytics Hub

2. ###

Activités
Lab : Chargement de données dans BigQuery
Quiz

3. 02 - Réplication et migration de données

Objectifs
Expliquer l'architecture de base de réplication et de migration de données de Google Cloud.
Comprendre les options et les cas d'utilisation de l'outil de ligne de commande gcloud.
Expliquer la fonctionnalité et les cas d'utilisation de Storage Transfer Service.
Expliquer la fonctionnalité et les cas d'utilisation de Transfer Appliance.
Comprendre les fonctionnalités et le déploiement de Datastream.
Sujets abordés
Architecture de réplication et de migration
L'outil de ligne de commande gcloud
Déplacement de jeux de données
Datastream

4. 03 - Le modèle de pipeline de données d'extraction et de chargement

Objectifs
Expliquer le schéma d'architecture de base d'extraction et de chargement.
Comprendre les options de l'outil de ligne de commande bq.
Expliquer la fonctionnalité et les cas d'utilisation du service de transfert de données BigQuery.
Expliquer la fonctionnalité et les cas d'utilisation de BigLake en tant que modèle sans extraction-chargement.
Sujets abordés
Architecture d'extraction et de chargement
L'outil de ligne de commande bq
Service de transfert de données BigQuery
BigLake

5. ###

Activités
Lab : BigLake : Démarrage rapide
Quiz

6. 04 - Le modèle de pipeline de données d'extraction, de chargement et de transformation

Objectifs
Expliquer le schéma d'architecture de base d'extraction, de chargement et de transformation.
Comprendre un pipeline ELT courant sur Google Cloud.
Découvrir les capacités de scripting SQL et de planification de BigQuery.
Expliquer la fonctionnalité et les cas d'utilisation de Dataform.
Sujets abordés
Architecture d'extraction, de chargement et de transformation (ELT)
Scripting SQL et planification avec BigQuery
Dataform

7. ###

Activités
Lab : Créer et exécuter un workflow SQL dans Dataform
Quiz

8. 05 - Le modèle de pipeline de données d'extraction, de transformation et de chargement

Objectifs
Expliquer le schéma d'architecture de base d'extraction, de transformation et de chargement.
Découvrir les outils d'interface graphique sur Google Cloud utilisés pour les pipelines de données ETL.
Expliquer le traitement des données en batch avec Dataproc.
Apprendre à utiliser Dataproc Serverless pour Spark pour l'ETL.
Expliquer les options de traitement des données en streaming.
Expliquer le rôle que joue Bigtable dans les pipelines de données.
Sujets abordés
Architecture d'extraction, de transformation et de chargement (ETL)
Outils d'interface graphique Google Cloud pour les pipelines de données ETL
Traitement de données en batch avec Dataproc
Options de traitement de données en streaming
Bigtable et pipelines de données

9. ###

Activités
Lab : Utiliser Dataproc Serverless pour Spark pour charger BigQuery (optionnel)
Lab : Créer un pipeline de données en streaming pour un tableau de bord en temps réel avec Dataflow
Quiz

10. 06 - Techniques d'automatisation

Objectifs
Expliquer les modèles d'automatisation et les options disponibles pour les pipelines.
Découvrir Cloud Scheduler et Workflows.
Découvrir Cloud Composer.
Découvrir Cloud Run Functions.
Expliquer la fonctionnalité et les cas d'utilisation d'automatisation pour Eventarc.

11. Sujets abordés

Modèles d'automatisation et options pour les pipelines
Cloud Scheduler et Workflows
Cloud Composer
Cloud Run Functions
Eventarc

12. ###

Activités
Lab : Utiliser Cloud Run Functions pour charger BigQuery (optionnel)
Quiz

13. 07 - Introduction à l'ingénierie des données moderne sur Google Cloud

Objectifs
Comparer et contraster les architectures de lac de données, d'entrepôt de données et de lakehouse de données.
Évaluer les avantages de l'approche lakehouse.
Sujets abordés
Les classiques : Lacs de données et entrepôts de données
L'approche moderne : Data lakehouse
Choisir la bonne architecture

14. ###

Activités
Quiz

15. 08 - Construire un lakehouse de données avec Cloud Storage, les formats ouverts et BigQuery

Objectifs
Discuter des options de stockage de données, y compris Cloud Storage pour les fichiers, les formats de table ouverts comme Apache Iceberg, BigQuery pour les données analytiques et AlloyDB pour les données opérationnelles.
Comprendre le rôle d'AlloyDB pour les cas d'utilisation de données opérationnelles.
Sujets abordés
Construire une fondation de lac de données
Introduction au format de table ouvert Apache Iceberg
BigQuery comme moteur de traitement central
Combiner les données opérationnelles dans AlloyDB
Combiner les données opérationnelles et analytiques avec les requêtes fédérées
Cas d'utilisation réel

16. ###

Activités
Quiz
Lab : Requête fédérée avec BigQuery

17. 09 - Moderniser les entrepôts de données avec BigQuery et BigLake

Objectifs
Expliquer pourquoi BigQuery est une solution d'entreposage de données évolutive sur Google Cloud.
Discuter des concepts de base de BigQuery.
Comprendre le rôle de BigLake dans la création d'une architecture lakehouse unifiée et son intégration avec BigQuery pour les données externes.
Apprendre comment BigQuery interagit nativement avec les tables Apache Iceberg via BigLake.
Sujets abordés
Fondamentaux de BigQuery
Partitionnement et clustering dans BigQuery
Introduction à BigLake et aux tables externes

18. ###

Activités
Quiz
Lab : Interroger des données externes et des tables Iceberg

19. 10 - Modèles avancés de lakehouse et gouvernance des données

Objectifs
Implémenter des pratiques robustes de gouvernance et de sécurité des données sur la plateforme de données unifiée, y compris la protection des données sensibles et la gestion des métadonnées.
Explorer l'analytique avancée et le machine learning directement sur les données du lakehouse.
Sujets abordés
Gouvernance et sécurité des données dans une plateforme unifiée
Démo : Prévention de la perte de données
Analytique et machine learning sur le lakehouse
Architectures lakehouse réelles et stratégies de migration

20. ### Activités

Quiz

21. 11 - Quand choisir les pipelines de données en batch

Objectifs
Expliquer le rôle critique d'un ingénieur de données dans le développement et la maintenance des pipelines de données en batch.
Décrire les composants de base et le cycle de vie typique des pipelines de données en batch, de l'ingestion à la consommation en aval.
Analyser les défis courants du traitement de données en batch, tels que le volume de données, la qualité, la complexité et la fiabilité, et identifier les services Google Cloud clés qui peuvent les résoudre.
Sujets abordés
Pipelines de données en batch et leurs cas d'utilisation
Traitement et défis courants

22. ###

Activités
Quiz

23. 12 - Concevoir et construire des pipelines de données en batch évolutifs

Objectifs
Concevoir des pipelines de données en batch évolutifs pour l'ingestion et la transformation de données à haut volume.
Optimiser les jobs en batch pour un haut débit et une efficacité des coûts en utilisant diverses techniques de gestion des ressources et d'ajustement des performances.
Sujets abordés
Concevoir des pipelines en batch
Transformations de données à grande échelle
Dataflow et Serverless pour Apache Spark
Connexions de données et orchestration
Exécuter un pipeline Apache Spark
Optimiser les performances des pipelines en batch

24. ###

Activités
Quiz
Lab : Construire un pipeline de données en batch simple avec Serverless pour Apache Spark (optionnel)
Lab : Construire un pipeline de données en batch simple avec l'interface Dataflow Job Builder (optionnel)

25. 13 - Contrôler la qualité des données dans les pipelines de données en batch

Objectifs
Développer des règles de validation des données et une logique de nettoyage pour assurer la qualité des données dans les pipelines en batch.
Implémenter des stratégies pour gérer l'évolution des schémas et effectuer la déduplication des données dans les grands jeux de données.
Sujets abordés
Validation et nettoyage des données en batch
Journaliser et analyser les erreurs
Évolution des schémas pour les pipelines en batch
Intégrité des données et duplication
Déduplication avec Serverless pour Apache Spark
Déduplication avec Dataflow

26. ###

Activités
Lab : Valider la qualité des données dans un pipeline en batch avec Serverless pour Apache Spark (optionnel)
Quiz

27. 14 - Orchestrer et surveiller les pipelines de données en batch

Objectifs
Orchestrer des workflows de pipelines de données en batch complexes pour une planification efficace et un suivi de lignage.
Implémenter une gestion robuste des erreurs, une surveillance et une observabilité pour les pipelines de données en batch.
Sujets abordés
Orchestration pour le traitement en batch
Cloud Composer
Observabilité unifiée
Alertes et dépannage
Gestion visuelle des pipelines

28. ###

Activités
Lab : Construire des pipelines en batch dans Cloud Data Fusion
Quiz

29. 15 - Introduction au cours (Streaming)

Objectifs
Présenter les objectifs d'apprentissage du cours et le scénario qui sera utilisé pour apporter un apprentissage pratique à la construction de pipelines de données en streaming.
Décrire le concept de pipelines de données en streaming, les défis associés et le rôle de ces pipelines dans le processus d'ingénierie des données.
Sujets abordés
Objectifs d'apprentissage du cours
Prérequis du cours
Le cas d'utilisation
À propos de l'entreprise
Le défi
La mission

30. 16 - Cas d'utilisation du streaming et architectures de référence

Objectifs
Comprendre les différents cas d'utilisation du streaming et leurs applications, y compris le Streaming ETL, le Streaming IA/ML, les applications de streaming et le Reverse ETL.
Identifier et décrire les architectures types courantes pour les données en streaming, y compris le Streaming ETL, le Streaming IA/ML, les applications de streaming et le Reverse ETL.
Sujets abordés
Introduction aux pipelines de données en streaming sur Google Cloud
Streaming ETL
Streaming IA/ML
Applications de streaming
Reverse ETL

31. ###

Activités
Quiz

32. 17 - Plongée approfondie dans les produits

Objectifs
Définir les concepts de messagerie.
Savoir quand utiliser Pub/Sub ou Managed Service for Apache Kafka.
Décrire le service et les défis liés aux données en streaming.
Construire et déployer un pipeline de streaming.
Explorer différentes méthodes d'ingestion de données.
Utiliser les requêtes continues BigQuery, BigQuery ETL et le reverse ETL.
Configurer le streaming de Pub/Sub vers BigQuery.
Concevoir l'architecture des pipelines de streaming BigQuery.
Décrire la vue d'ensemble du mouvement et de l'interaction des données.
Établir un pipeline de streaming de Dataflow vers Bigtable.
Analyser le flux de données continu de Bigtable pour en dégager les tendances avec BigQuery.
Synchroniser l'analyse des tendances vers l'application destinée aux utilisateurs.
Sujets abordés
Comprendre les produits
Considérations architecturales pour Pub/Sub et Managed Service for Apache Kafka
Dataflow : Le moteur de traitement puissant
BigQuery : Le moteur analytique
Bigtable : La solution pour les données opérationnelles

33. ###

Activités
Lab : Streamer des données avec des pipelines - Cas d'utilisation Esports (optionnel)
Quiz
Lab : Utiliser Apache Beam et Bigtable pour enrichir les données de contenu téléchargeables (DLC) esports
Quiz
Lab : Streamer des données e-sports avec Pub/Sub et BigQuery
Quiz
Lab : Surveiller le chat e-sports avec Streamlit
Quiz

34. 18 - Points clés à retenir

Objectifs
Renforcer les principes fondamentaux de la plateforme de données de Google Cloud.
Sujets abordés
Ce que vous avez accompli
Prochaines étapes

Dernière mise à jour : 30 octobre 2026

En présentiel ou à distance : à vous de choisir

Dans vos locaux

Pour ancrer les apprentissages et encourager la dynamique collective.

En classe virtuelle

Pour allier flexibilité et interactions en temps réel avec le formateur.

Dans nos locaux

Pour favoriser la concentration, les échanges et le confort des apprenants.

Les modalités de formation

Suivi et évaluation :

Recueil des besoins en amont pour identifier les attentes du stagiaire
Évaluation continue : études de cas et travaux pratiques pendant la formation
Évaluation finale : questionnaire d'auto-évaluation

Format et encadrement :

Formation équilibrée alliant théorie et pratique (minimum 50%)
Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
Émargement par demi-journée et remise d'une attestation de formation

Moyens pédagogiques et techniques :

Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.

Conditions et délais d'accès :

Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.