Kurs
digicode: IDEGC
Introduction to Data Engineering on Google Cloud («IDEGC»)
Erfahre mehr über Data Engineering auf Google Cloud, Aufgaben & Verantwortlichkeiten von Data Engineers und wie diese mit den Angeboten von Google Cloud zusammenhängen.
Dauer
1 Tag
Preis
850.–
zzgl. 8.1% MWST
Kursdokumente
Offizielle Google-Cloud-Unterlagen
Kurs-Facts
- Verstehen der Rolle eines Data Engineers
- Identifizieren von Data-Engineering-Aufgaben und Kernkomponenten, die in Google Cloud verwendet werden
- Verstehen, wie Datenpipelines mit unterschiedlichen Mustern in Google Cloud erstellt und bereitgestellt werden
- Identifizieren und Nutzen verschiedener Automatisierungstechniken in Google Cloud
- Die Rolle eines Data Engineers
- Datenquellen im Vergleich zu Datensenken
- Datenformate
- Speicherlösungen in Google Cloud
- Metadatenverwaltungsoptionen in Google Cloud
- Freigeben von Datensätzen mit Analytics Hub
- Erläuterung der Rolle eines Data Engineers
- Verständnis der Unterschiede zwischen einer Datenquelle und einer Datensenk
- Erläuterung der verschiedenen Arten von Datenformaten
- Erläuterung der Speicherlösungen in Google Cloud
- Lerne die Optionen für die Metadatenverwaltung in Google Cloud kennen
- Verstehen, wie du Datensätze mit Analytics Hub einfach freigeben kannst
- Verstehen, wie du Daten mit der Google Cloud-Konsole oder der gcloud-CLI in BigQuery laden kannst
- Lab: Laden von Daten in BigQuery
- Replikations- und Migrationsarchitektur
- Das gcloud-Befehlszeilentool
- Verschieben von Datensätzen
- Datastream
- Erläuterung der grundlegenden Architektur für Datenreplikation und -migration in Google Cloud
- Verstehen der Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool
- Erläuterung der Funktionen und Anwendungsfälle für den Storage Transfer Service
- Erläuterung der Funktionen und Anwendungsfälle für Transfer Appliance
- Verstehen der Funktionen und Bereitstellung von Datastream
- Lab: Datastream: PostgreSQL-Replikation in BigQuery (optional)
- Architektur zum Extrahieren und Laden
- Das Befehlszeilentool bq
- BigQuery Data Transfer Service
- BigLake
- Erläuterung des Diagramms zur grundlegenden Architektur zum Extrahieren und Laden
- Verstehen der Optionen des Befehlszeilentools bq
- Erläuterung der Funktionen und Anwendungsfälle für den BigQuery-Datentransferdienst
- Erläuterung der Funktionen und Anwendungsfälle für BigLake als Nicht-Extrahieren-Laden-Muster
- Lab: BigLake: Qwik Start
- ELT-Architektur (Extrahieren, Laden und Transformieren)
- SQL-Skripting und -Planung mit BigQuery
- Dataform
- Erläuterung des Basisdiagramms zur Architektur für Extrahieren, Laden und Transformieren
- Verständnis einer gängigen ELT-Pipeline in Google Cloud
- Kennenlernen der SQL-Skript- und Planungsfunktionen von BigQuery
- Erläuterung der Funktionen und Anwendungsfälle von Dataform
- Lab: Erstellen und Ausführen eines SQL-Workflows in Dataform
- ETL-Architektur (Extrahieren, Transformieren und Laden)
- Google Cloud-GUI-Tools für ETL-Datenpipelines
- Batch-Datenverarbeitung mit Dataproc
- Optionen für die Streaming-Datenverarbeitung
- Bigtable und Datenpipelines
- Erläuterung des grundlegenden Diagramms zur ETL-Architektur (Extrahieren, Transformieren und Laden)
- Informationen zu den GUI-Tools in Google Cloud, die für ETL-Datenpipelines verwendet werden
- Erläuterung der Batch-Datenverarbeitung mit Dataproc
- Lernen, wie man Dataproc Serverless für Spark für ETL verwendet
- Erläuterung der Optionen für die Streaming-Datenverarbeitung
- Erläuterung der Rolle von Bigtable in Datenpipelines
- Lab: Verwendung von Dataproc Serverless für Spark zum Laden von BigQuery (optional)
- Lab: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow
- Automatisierungsmuster und -optionen für Pipelines
- Cloud Scheduler und Workflows
- Cloud Composer
- Cloud Run-Funktionen
- Eventarc
- Erläuterung der für Pipelines verfügbaren Automatisierungsmuster und -optionen
- Lerne Cloud Scheduler und Workflows kennen
- Lerne Cloud Composer kennen
- Lerne Cloud Run-Funktionen kennen
- Erläuterung der Funktionalität und Anwendungsfälle für die Automatisierung von Eventarc
- Lab: Verwendung von Cloud Run-Funktionen zum Laden von BigQuery (optional)
- Data Engineers
- Datenbank-Administratoren
- System-Administratoren
- Grundlegende Erfahrung mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte über die Google Cloud-Konsole
- Grundlegende Kenntnisse einer gängigen Abfragesprache wie SQL
- Erfahrung mit Datenmodellierung und ETL-Aktivitäten (Extrahieren, Transformieren, Laden)
- Erfahrung in der Entwicklung von Anwendungen unter Verwendung einer gängigen Programmiersprache wie Python
- Analytics Hub
- BigQuery
- Storage Transfer Service
- Transfer Appliance
- Datastream
- BigQuery Data Transfer Service
- BigLake
- Dataform
- Dataproc
- Bigtable
- Dataflow
- Cloud Scheduler
- Workflows
- Cloud Composer
- Cloud Run functions
- Eventarc