[{"data":1,"prerenderedAt":43},["ShallowReactive",2],{"course-ingenierie-des-donnees-sur-google-cloud":3,"highlight-sql--- Pipeline analytiq":42},{"id":4,"name":5,"slug":6,"location":7,"targetAudienceFormatMarkdown":8,"prerequisitesFormatMarkdown":9,"objectivesFormatMarkdown":10,"descriptionFormatMarkdown":11,"teachingMethodsFormatMarkdown":12,"teachingResourcesFormatMarkdown":13,"evaluationMethodsFormatMarkdown":14,"accessibilityFormatMarkdown":15,"accessMethodsFormatMarkdown":16,"minimumParticipants":17,"maximumParticipants":17,"duration":18,"reference":19,"trainerType":7,"updated_at":20,"created_at":21,"price":22,"organizationMode":7,"theme":23,"code":27,"tags":32,"metadata":33},"/api/courses/21144109-e23c-4a15-9ea4-56eedb2f6e2a","Ingénierie des données sur Google Cloud","ingenierie-des-donnees-sur-google-cloud",null,"Ingénieurs de données, Analystes de données, Architectes de données","-   Compréhension des principes d'ingénierie des données, y compris les processus ETL/ELT, la modélisation des données et les formats de données courants (Avro, Parquet, JSON).\n-   Familiarité avec les concepts d'architecture de données, en particulier les entrepôts de données (Data Warehouses) et les lacs de données (Data Lakes).\n-   Maîtrise de SQL pour l'interrogation des données.\n-   Maîtrise d'un langage de programmation courant (Python recommandé).\n-   Familiarité avec l'utilisation des interfaces de ligne de commande (CLI).\n-   Familiarité avec les concepts et services de base de Google Cloud (Compute, Storage et gestion des identités).","-   Concevoir des systèmes de traitement de données évolutifs dans Google Cloud.\n-   Construire et gérer des pipelines de données robustes en streaming et en batch.\n\n-   Différencier les architectures de données et implémenter les concepts de lakehouse et de pipelines de données.\n\n-   Utiliser les outils IA/ML pour optimiser les performances et obtenir des informations sur les processus et les données.\n","## 01 - Tâches et composants de l'ingénierie des données\n\n  \n\nObjectifs\n\n-   Expliquer le rôle d'un ingénieur de données.\n-   Comprendre les différences entre une source de données et un récepteur de données.\n-   Expliquer les différents types de formats de données.\n-   Expliquer les options de solutions de stockage sur Google Cloud.\n-   Découvrir les options de gestion des métadonnées sur Google Cloud.\n-   Comprendre comment partager facilement des jeux de données avec Analytics Hub.\n-   Comprendre comment charger des données dans BigQuery à l'aide de la console Google Cloud ou de la CLI gcloud.\n\nSujets abordés\n\n-   Le rôle d'un ingénieur de données\n-   Sources de données versus récepteurs de données\n-   Formats de données\n-   Options de solutions de stockage sur Google Cloud\n-   Options de gestion des métadonnées sur Google Cloud\n-   Partage de jeux de données avec Analytics Hub\n\n#####   \n\nActivités\n\nLab : Chargement de données dans BigQuery\n\nQuiz\n\n## 02 - Réplication et migration de données\n\n  \n\nObjectifs\n\n-   Expliquer l'architecture de base de réplication et de migration de données de Google Cloud.\n-   Comprendre les options et les cas d'utilisation de l'outil de ligne de commande gcloud.\n-   Expliquer la fonctionnalité et les cas d'utilisation de Storage Transfer Service.\n-   Expliquer la fonctionnalité et les cas d'utilisation de Transfer Appliance.\n-   Comprendre les fonctionnalités et le déploiement de Datastream.\n\nSujets abordés\n\n-   Architecture de réplication et de migration\n-   L'outil de ligne de commande gcloud\n-   Déplacement de jeux de données\n-   Datastream\n\n## 03 - Le modèle de pipeline de données d'extraction et de chargement\n\n  \n\nObjectifs\n\n-   Expliquer le schéma d'architecture de base d'extraction et de chargement.\n-   Comprendre les options de l'outil de ligne de commande bq.\n-   Expliquer la fonctionnalité et les cas d'utilisation du service de transfert de données BigQuery.\n-   Expliquer la fonctionnalité et les cas d'utilisation de BigLake en tant que modèle sans extraction-chargement.\n\nSujets abordés\n\n-   Architecture d'extraction et de chargement\n-   L'outil de ligne de commande bq\n-   Service de transfert de données BigQuery\n-   BigLake\n\n#####   \n\nActivités\n\nLab : BigLake : Démarrage rapide\n\nQuiz\n\n## 04 - Le modèle de pipeline de données d'extraction, de chargement et de transformation\n\n  \n\nObjectifs\n\n-   Expliquer le schéma d'architecture de base d'extraction, de chargement et de transformation.\n-   Comprendre un pipeline ELT courant sur Google Cloud.\n-   Découvrir les capacités de scripting SQL et de planification de BigQuery.\n-   Expliquer la fonctionnalité et les cas d'utilisation de Dataform.\n\nSujets abordés\n\n  \n\n-   Architecture d'extraction, de chargement et de transformation (ELT)\n-   Scripting SQL et planification avec BigQuery\n-   Dataform\n\n#####   \n\nActivités\n\nLab : Créer et exécuter un workflow SQL dans Dataform\n\nQuiz\n\n## 05 - Le modèle de pipeline de données d'extraction, de transformation et de chargement\n\n  \n\nObjectifs\n\n-   Expliquer le schéma d'architecture de base d'extraction, de transformation et de chargement.\n-   Découvrir les outils d'interface graphique sur Google Cloud utilisés pour les pipelines de données ETL.\n-   Expliquer le traitement des données en batch avec Dataproc.\n-   Apprendre à utiliser Dataproc Serverless pour Spark pour l'ETL.\n-   Expliquer les options de traitement des données en streaming.\n-   Expliquer le rôle que joue Bigtable dans les pipelines de données.\n\nSujets abordés\n\n-   Architecture d'extraction, de transformation et de chargement (ETL)\n-   Outils d'interface graphique Google Cloud pour les pipelines de données ETL\n-   Traitement de données en batch avec Dataproc\n-   Options de traitement de données en streaming\n-   Bigtable et pipelines de données\n\n#####   \n\nActivités\n\nLab : Utiliser Dataproc Serverless pour Spark pour charger BigQuery (optionnel)\n\nLab : Créer un pipeline de données en streaming pour un tableau de bord en temps réel avec Dataflow\n\nQuiz\n\n## 06 - Techniques d'automatisation\n\n  \n\nObjectifs\n\n  \n\n-   Expliquer les modèles d'automatisation et les options disponibles pour les pipelines.\n-   Découvrir Cloud Scheduler et Workflows.\n-   Découvrir Cloud Composer.\n-   Découvrir Cloud Run Functions.\n-   Expliquer la fonctionnalité et les cas d'utilisation d'automatisation pour Eventarc.\n\n## Sujets abordés\n\n-   Modèles d'automatisation et options pour les pipelines\n-   Cloud Scheduler et Workflows\n-   Cloud Composer\n-   Cloud Run Functions\n-   Eventarc\n\n#####   \n\nActivités\n\nLab : Utiliser Cloud Run Functions pour charger BigQuery (optionnel)\n\nQuiz\n\n## 07 - Introduction à l'ingénierie des données moderne sur Google Cloud\n\n  \n\nObjectifs\n\n-   Comparer et contraster les architectures de lac de données, d'entrepôt de données et de lakehouse de données.\n-   Évaluer les avantages de l'approche lakehouse.\n\nSujets abordés\n\n  \n\n-   Les classiques : Lacs de données et entrepôts de données\n-   L'approche moderne : Data lakehouse\n-   Choisir la bonne architecture\n\n#####   \n\nActivités\n\nQuiz\n\n## 08 - Construire un lakehouse de données avec Cloud Storage, les formats ouverts et BigQuery\n\n  \n\nObjectifs\n\n-   Discuter des options de stockage de données, y compris Cloud Storage pour les fichiers, les formats de table ouverts comme Apache Iceberg, BigQuery pour les données analytiques et AlloyDB pour les données opérationnelles.\n-   Comprendre le rôle d'AlloyDB pour les cas d'utilisation de données opérationnelles.\n\nSujets abordés\n\n-   Construire une fondation de lac de données\n-   Introduction au format de table ouvert Apache Iceberg\n-   BigQuery comme moteur de traitement central\n-   Combiner les données opérationnelles dans AlloyDB\n-   Combiner les données opérationnelles et analytiques avec les requêtes fédérées\n-   Cas d'utilisation réel\n\n#####   \n\nActivités\n\nQuiz\n\nLab : Requête fédérée avec BigQuery\n\n## 09 - Moderniser les entrepôts de données avec BigQuery et BigLake\n\n  \n\nObjectifs\n\n-   Expliquer pourquoi BigQuery est une solution d'entreposage de données évolutive sur Google Cloud.\n-   Discuter des concepts de base de BigQuery.\n-   Comprendre le rôle de BigLake dans la création d'une architecture lakehouse unifiée et son intégration avec BigQuery pour les données externes.\n-   Apprendre comment BigQuery interagit nativement avec les tables Apache Iceberg via BigLake.\n\nSujets abordés\n\n  \n\n-   Fondamentaux de BigQuery\n-   Partitionnement et clustering dans BigQuery\n-   Introduction à BigLake et aux tables externes\n\n#####   \n\nActivités\n\nQuiz\n\nLab : Interroger des données externes et des tables Iceberg\n\n## 10 - Modèles avancés de lakehouse et gouvernance des données\n\n  \n\nObjectifs\n\n-   Implémenter des pratiques robustes de gouvernance et de sécurité des données sur la plateforme de données unifiée, y compris la protection des données sensibles et la gestion des métadonnées.\n-   Explorer l'analytique avancée et le machine learning directement sur les données du lakehouse.\n\nSujets abordés\n\n-   Gouvernance et sécurité des données dans une plateforme unifiée\n-   Démo : Prévention de la perte de données\n-   Analytique et machine learning sur le lakehouse\n-   Architectures lakehouse réelles et stratégies de migration\n\n#####   \n\n##### Activités\n\nQuiz\n\n## 11 - Quand choisir les pipelines de données en batch\n\n  \n\nObjectifs\n\n-   Expliquer le rôle critique d'un ingénieur de données dans le développement et la maintenance des pipelines de données en batch.\n-   Décrire les composants de base et le cycle de vie typique des pipelines de données en batch, de l'ingestion à la consommation en aval.\n-   Analyser les défis courants du traitement de données en batch, tels que le volume de données, la qualité, la complexité et la fiabilité, et identifier les services Google Cloud clés qui peuvent les résoudre.\n\nSujets abordés\n\n-   Pipelines de données en batch et leurs cas d'utilisation\n-   Traitement et défis courants\n\n#####   \n\nActivités\n\nQuiz\n\n## 12 - Concevoir et construire des pipelines de données en batch évolutifs\n\n  \n\nObjectifs\n\n-   Concevoir des pipelines de données en batch évolutifs pour l'ingestion et la transformation de données à haut volume.\n-   Optimiser les jobs en batch pour un haut débit et une efficacité des coûts en utilisant diverses techniques de gestion des ressources et d'ajustement des performances.\n\nSujets abordés\n\n-   Concevoir des pipelines en batch\n-   Transformations de données à grande échelle\n-   Dataflow et Serverless pour Apache Spark\n-   Connexions de données et orchestration\n-   Exécuter un pipeline Apache Spark\n-   Optimiser les performances des pipelines en batch\n\n#####   \n\nActivités\n\nQuiz\n\nLab : Construire un pipeline de données en batch simple avec Serverless pour Apache Spark (optionnel)\n\nLab : Construire un pipeline de données en batch simple avec l'interface Dataflow Job Builder (optionnel)\n\n  \n\n## 13 - Contrôler la qualité des données dans les pipelines de données en batch\n\n  \n\nObjectifs\n\n-   Développer des règles de validation des données et une logique de nettoyage pour assurer la qualité des données dans les pipelines en batch.\n-   Implémenter des stratégies pour gérer l'évolution des schémas et effectuer la déduplication des données dans les grands jeux de données.\n\nSujets abordés\n\n-   Validation et nettoyage des données en batch\n-   Journaliser et analyser les erreurs\n-   Évolution des schémas pour les pipelines en batch\n-   Intégrité des données et duplication\n-   Déduplication avec Serverless pour Apache Spark\n-   Déduplication avec Dataflow\n\n#####   \n\nActivités\n\nLab : Valider la qualité des données dans un pipeline en batch avec Serverless pour Apache Spark (optionnel)\n\nQuiz\n\n## 14 - Orchestrer et surveiller les pipelines de données en batch\n\n  \n\nObjectifs\n\n-   Orchestrer des workflows de pipelines de données en batch complexes pour une planification efficace et un suivi de lignage.\n-   Implémenter une gestion robuste des erreurs, une surveillance et une observabilité pour les pipelines de données en batch.\n\nSujets abordés\n\n-   Orchestration pour le traitement en batch\n-   Cloud Composer\n-   Observabilité unifiée\n-   Alertes et dépannage\n-   Gestion visuelle des pipelines\n\n#####   \n\nActivités\n\nLab : Construire des pipelines en batch dans Cloud Data Fusion\n\nQuiz\n\n## 15 - Introduction au cours (Streaming)\n\n  \n\nObjectifs\n\n-   Présenter les objectifs d'apprentissage du cours et le scénario qui sera utilisé pour apporter un apprentissage pratique à la construction de pipelines de données en streaming.\n-   Décrire le concept de pipelines de données en streaming, les défis associés et le rôle de ces pipelines dans le processus d'ingénierie des données.\n\nSujets abordés\n\n-   Objectifs d'apprentissage du cours\n-   Prérequis du cours\n-   Le cas d'utilisation\n-   À propos de l'entreprise\n-   Le défi\n-   La mission\n\n## 16 - Cas d'utilisation du streaming et architectures de référence\n\n  \n\nObjectifs\n\n-   Comprendre les différents cas d'utilisation du streaming et leurs applications, y compris le Streaming ETL, le Streaming IA/ML, les applications de streaming et le Reverse ETL.\n-   Identifier et décrire les architectures types courantes pour les données en streaming, y compris le Streaming ETL, le Streaming IA/ML, les applications de streaming et le Reverse ETL.\n\nSujets abordés\n\n-   Introduction aux pipelines de données en streaming sur Google Cloud\n-   Streaming ETL\n-   Streaming IA/ML\n-   Applications de streaming\n-   Reverse ETL\n\n#####   \n\nActivités\n\n-   Quiz\n\n## 17 - Plongée approfondie dans les produits\n\n  \n\nObjectifs\n\n-   Définir les concepts de messagerie.\n-   Savoir quand utiliser Pub/Sub ou Managed Service for Apache Kafka.\n-   Décrire le service et les défis liés aux données en streaming.\n-   Construire et déployer un pipeline de streaming.\n-   Explorer différentes méthodes d'ingestion de données.\n-   Utiliser les requêtes continues BigQuery, BigQuery ETL et le reverse ETL.\n-   Configurer le streaming de Pub/Sub vers BigQuery.\n-   Concevoir l'architecture des pipelines de streaming BigQuery.\n-   Décrire la vue d'ensemble du mouvement et de l'interaction des données.\n-   Établir un pipeline de streaming de Dataflow vers Bigtable.\n-   Analyser le flux de données continu de Bigtable pour en dégager les tendances avec BigQuery.\n-   Synchroniser l'analyse des tendances vers l'application destinée aux utilisateurs.\n\nSujets abordés\n\n-   Comprendre les produits\n-   Considérations architecturales pour Pub/Sub et Managed Service for Apache Kafka\n-   Dataflow : Le moteur de traitement puissant\n-   BigQuery : Le moteur analytique\n-   Bigtable : La solution pour les données opérationnelles\n\n#####   \n\nActivités\n\nLab : Streamer des données avec des pipelines - Cas d'utilisation Esports (optionnel)\n\nQuiz\n\nLab : Utiliser Apache Beam et Bigtable pour enrichir les données de contenu téléchargeables (DLC) esports\n\nQuiz\n\nLab : Streamer des données e-sports avec Pub/Sub et BigQuery\n\nQuiz\n\nLab : Surveiller le chat e-sports avec Streamlit\n\nQuiz\n\n## 18 - Points clés à retenir\n\n  \n\nObjectifs\n\n-   Renforcer les principes fondamentaux de la plateforme de données de Google Cloud.\n\nSujets abordés\n\n-   Ce que vous avez accompli\n-   Prochaines étapes","Présentiel, distanciel, hybride","Les supports pédagogiques sont remis aux stagiaires sous format numérique et/ou papier selon les modalités de la formation.\n\nIls comprennent des supports de cours, des présentations, des fiches pratiques, des études de cas, des exercices applicatifs ainsi que des QCM d’entraînement selon la formation. (adapté au choix du formateur)\n\nLes formations s’appuient sur des moyens techniques adaptés : ordinateurs, logiciels professionnels, connexion internet, écran ou vidéoprojecteur, ainsi que des outils collaboratifs et de visioconférence pour les formations à distance.\n\nL’ensemble des supports pédagogiques est accessible pendant et après la formation afin de favoriser l’appropriation et la mise en pratique des compétences acquises.","En amont de la formation, un recueil des besoins permet de récolter des informations sur le stagiaire et ses attentes. L’évaluation se fait en cours de formation, par des études de cas ou des travaux pratiques. En fin de formation, par un questionnaire d’auto-évaluation et/ou un examen.\n\nUn suivi de qualité est effectué grâce à nos sessions en groupe restreint (entre 2 et 9 participants maximum). Le stagiaire émargera par demi-journée et recevra une attestation de formation.","Nous informons l’ensemble de nos clients et stagiaires que nous sommes dans la capacité d’adapter les sessions selon les handicaps et les situations spécifiques. Nous nous engageons à répondre à toutes vos demandes sous un délai de 48h ouvré.","Si l’une de nos formations vous intéresse, contactez-nous au +33 4 93 65 34 24 ou à l’adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d’adapter la formation et ses modules, puis nous vous adresserons un devis.\n\nLes dates de la formation seront à convenir sous 30 jours maximum.",0,"28.00","","2026-10-30T08:59:07+00:00","2026-10-30T08:48:29+00:00","4368.00",{"id":24,"name":25,"slug":26},"/api/themes/0ac1191d-b298-11f1-a993-d8ca06000363","Réseaux, virtualisation, Cloud / DevOps","reseaux-virtualisation-cloud-devops",{"id":28,"label":29,"domain":30},"/api/training_specialities/163","326 - Informatique, traitement de l’information, réseaux de transmission des données",{"label":31},"32 - Communication et information",[],{"desc-accroche":34,"Description":35,"icon-color":36,"icon-name":37,"code-langage":38,"code-snippet":39,"courte-description":40,"titre-accroche":41},"Bâtissez des pipelines de données massifs et scalables : maîtrisez le traitement en temps réel et en batch avec Dataflow, l'entreposage analytique sur BigQuery, le streaming d'événements via Pub/Sub et la modélisation de données complexes sur Google Cloud.","L'ingénierie des données est le pilier indispensable de la transformation analytique et décisionnelle moderne. Cette formation spécialisée sur Google Cloud Platform (GCP) vous enseigne comment concevoir des pipelines d'ingestion et de transformation de données à grande échelle. Vous découvrirez l'utilisation combinée de BigQuery, Pub/Sub, Cloud Dataflow (Apache Beam), Dataproc et Bigtable. Un cursus intensif conçu pour les développeurs, data engineers et architectes souhaitant structurer des flux de données fiables, sécurisés et optimisés en coûts.","#4285F4","mdi:google-cloud","sql","-- Pipeline analytique partitionné et optimisé sur BigQuery\nCREATE OR REPLACE TABLE `my_project.analytics.daily_metrics`\nPARTITION BY DATE(event_timestamp)\nCLUSTER BY user_id AS\nSELECT\n\tuser_id,\n\tTIMESTAMP_TRUNC(event_timestamp, DAY) AS event_date,\n\tCOUNT(1) AS total_events,\n\tSUM(transaction_amount) AS revenue\nFROM\n\t`my_project.raw_data.stream_events`\nWHERE\n\tevent_timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)\nGROUP BY\n\t1, 2;","Maîtrisez l'ingénierie des données sur Google Cloud : construisez des pipelines temps réel et des entrepôts de données scalables avec BigQuery et Dataflow.","Concevez, déployez et optimisez des architectures Data performantes et évolutives pour libérer la valeur de vos données d'entreprise.","\u003Cpre class=\"hljs\">\u003Ccode class=\"language-sql\">\u003Cspan class=\"hljs-comment\">-- Pipeline analytique partitionné et optimisé sur BigQuery\u003C/span>\n\u003Cspan class=\"hljs-keyword\">CREATE\u003C/span> \u003Cspan class=\"hljs-keyword\">OR\u003C/span> REPLACE \u003Cspan class=\"hljs-keyword\">TABLE\u003C/span> `my_project.analytics.daily_metrics`\n\u003Cspan class=\"hljs-keyword\">PARTITION\u003C/span> \u003Cspan class=\"hljs-keyword\">BY\u003C/span> \u003Cspan class=\"hljs-type\">DATE\u003C/span>(event_timestamp)\nCLUSTER \u003Cspan class=\"hljs-keyword\">BY\u003C/span> user_id \u003Cspan class=\"hljs-keyword\">AS\u003C/span>\n\u003Cspan class=\"hljs-keyword\">SELECT\u003C/span>\n\tuser_id,\n\tTIMESTAMP_TRUNC(event_timestamp, \u003Cspan class=\"hljs-keyword\">DAY\u003C/span>) \u003Cspan class=\"hljs-keyword\">AS\u003C/span> event_date,\n\t\u003Cspan class=\"hljs-built_in\">COUNT\u003C/span>(\u003Cspan class=\"hljs-number\">1\u003C/span>) \u003Cspan class=\"hljs-keyword\">AS\u003C/span> total_events,\n\t\u003Cspan class=\"hljs-built_in\">SUM\u003C/span>(transaction_amount) \u003Cspan class=\"hljs-keyword\">AS\u003C/span> revenue\n\u003Cspan class=\"hljs-keyword\">FROM\u003C/span>\n\t`my_project.raw_data.stream_events`\n\u003Cspan class=\"hljs-keyword\">WHERE\u003C/span>\n\tevent_timestamp \u003Cspan class=\"hljs-operator\">>=\u003C/span> TIMESTAMP_SUB(\u003Cspan class=\"hljs-built_in\">CURRENT_TIMESTAMP\u003C/span>(), \u003Cspan class=\"hljs-type\">INTERVAL\u003C/span> \u003Cspan class=\"hljs-number\">7\u003C/span> \u003Cspan class=\"hljs-keyword\">DAY\u003C/span>)\n\u003Cspan class=\"hljs-keyword\">GROUP\u003C/span> \u003Cspan class=\"hljs-keyword\">BY\u003C/span>\n\t\u003Cspan class=\"hljs-number\">1\u003C/span>, \u003Cspan class=\"hljs-number\">2\u003C/span>;\u003C/code>\u003C/pre>",1793358778990]