Kurs
digicode: OBQDF
Orchestrate BigQuery Workloads with Dataform
Dataform ist ein Dienst für Datenanalyst/innen zur Entwicklung, zum Testen, zur Versionskontrolle und zur Planung komplexer SQL-Workflows für die Datentransformation in BigQuery.
Dauer
1 Tag
Preis
800.–
zzgl. 8.1% MWST
Kurs-Facts
- Verstehen der Komponenten des Dataform-Kerns
- Erstellen von Tabellen und Ansichten in BigQuery mit Dataform
- Dokumentieren von BigQuery-Tabellen und -Ansichten
- Verstehen der Sicherheits-Einstellungen von BigQuery mit Dataform
- Verwenden von Assertions zum Validieren von Daten in Dataform-Workflows
- Automatisiertes Ausführen von Dataform-SQL-Workflows
In diesem Kurs lernst du die Komponenten des Dataform-Kerns kennen, erfährst, wie du Tabellen und Abhängigkeiten in SQLX definierst, BigQuery-Tabellen und -Ansichten dokumentierst, die Sicherheitseinstellungen von BigQuery verstehst und diese mit Dataform verwaltest, Assertions schreibst, SQL-Workflows ausführst und weitere fortgeschrittene Anwendungsfälle erkundest.
1 Kernkomponenten von Dataform
- SQL-Workflow
- Repositorys und Arbeitsbereiche
- Standarddateien und -ordner
- Kompilierte Graphen
- Verstehen der Komponenten des Dataflow-Kerns
2 Tabellendefinitionen und Abhängigkeiten
- Deklariere eine Datenquelle
- Erstelle eine Tabelle
- Erstelle eine inkrementelle Tabelle
- Lege Partitionierungs- und Clustering-Optionen fest
- Erstelle eine leere Tabelle
- Erstelle eine externe BigLake-Tabelle
- Erstelle Ansichten und materialisierte Ansichten
- Definiere Abhängigkeiten
- Erstelle Tabellen und Ansichten in BigQuery mit Dataform
3 Dokumentieren von BigQuery-Tabellen und -Ansichten
- Verwenden von Spaltenbeschreibungen
- Verwenden von global definierten JavaScript-Konstanten
- Füge Beschriftungen hinzu
- Dokumentiere BigQuery-Tabellen und -Ansichten
- Labor: Erstelle SQL-Workflows mit Abhängigkeiten in Dataform
4 BigQuery-Sicherheitseinstellungen
- IAM-Datensatz und Tabellen-/Ansichtszugriff
- Sicherheit auf Spaltenebene
- Sicherheit auf Zeilenebene
- Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform
5 Assertions
- Verwenden integrierter Assertions
- Erstellen manueller Assertions
- Verwenden von Assertions zur Validierung von Daten in Dataform-Workflows
- Labor: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform
6 SQL-Workflow-Ausführungen
- Dataform-Code-Lebenszyklus
- Was passiert während der Kompilierung?
- Anpassen und Planen von Kompilierungsergebnissen
- Ausführen von Workflows (UI, Cloud Scheduler, Cloud Composer)
- Protokollierung und Überwachung
- Automatisierte Ausführung von Dataform-SQL-Workflows
- Labor: Automatisieren und Überwachen von SQL-Workflow-Ausführungen in Dataform
7 Erweiterte Anwendungsfälle
- Erstellen einer BigLake-Tabelle nach dem Hochladen von Dateien mithilfe von Cloud Run-Funktionen
- Erstellen einer Machine Learning-Pipeline mit BigQuery ML
- Arbeiten mit langsam veränderlichen Dimensionen vom Typ 2
- Entdecke weitere Anwendungsfälle für Dataform
- Labor: Erstellen einer BigLake-Tabelle mit Dataform mithilfe von Cloud-Run-Funktionen
Kenntnisse in SQL-Datenanalyse und BigQuery, wie in BigQuery for Data Analysts beschrieben