Kurs
digicode: OBQDF
Orchestrate BigQuery Workloads with Dataform
Dataform ist ein Dienst für Datenanalysten zur Entwicklung, zum Testen, zur Versionskontrolle und zur Planung komplexer SQL-Workflows für die Datentransformation in BigQuery.
Dauer
1 Tag
Preis
850.–
zzgl. 7.7% MWST
Kurs-Facts
- Verstehen der Komponenten des Dataform-Kerns
- Erstellen von Tabellen und Ansichten in BigQuery mit Dataform
- Dokumentieren von BigQuery-Tabellen und -Ansichten
- Verstehen der Sicherheits-Einstellungen von BigQuery mit Dataform
- Verwenden von Assertions zum Validieren von Daten in Dataform-Workflows
- Automatisiertes Ausführen von Dataform-SQL-Workflows
In diesem Kurs lernen Sie die Komponenten des Dataform-Kerns kennen, erfahren, wie Sie Tabellen und Abhängigkeiten in SQLX definieren, BigQuery-Tabellen und -Ansichten dokumentieren, die Sicherheitseinstellungen von BigQuery verstehen und diese mit Dataform verwalten, Assertions schreiben, SQL-Workflows ausführen und weitere fortgeschrittene Anwendungsfälle erkunden.
1 Kernkomponenten von Dataform
- SQL-Workflow
- Repositorys und Arbeitsbereiche
- Standarddateien und -ordner
- Kompilierte Graphen
- Verstehen der Komponenten des Dataflow-Kerns
2 Tabellendefinitionen und Abhängigkeiten
- Deklariere eine Datenquelle
- Erstelle eine Tabelle
- Erstelle eine inkrementelle Tabelle
- Lege Partitionierungs- und Clustering-Optionen fest
- Erstelle eine leere Tabelle
- Erstelle eine externe BigLake-Tabelle
- Erstelle Ansichten und materialisierte Ansichten
- Definiere Abhängigkeiten
- Erstelle Tabellen und Ansichten in BigQuery mit Dataform
3 Dokumentieren von BigQuery-Tabellen und -Ansichten
- Verwenden von Spaltenbeschreibungen
- Verwenden von global definierten JavaScript-Konstanten
- Füge Beschriftungen hinzu
- Dokumentiere BigQuery-Tabellen und -Ansichten
- Labor: Erstelle SQL-Workflows mit Abhängigkeiten in Dataform
4 BigQuery-Sicherheitseinstellungen
- IAM-Datensatz und Tabellen-/Ansichtszugriff
- Sicherheit auf Spaltenebene
- Sicherheit auf Zeilenebene
- Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform
5 Assertions
- Verwenden integrierter Assertions
- Erstellen manueller Assertions
- Verwenden von Assertions zur Validierung von Daten in Dataform-Workflows
- Labor: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform
6 SQL-Workflow-Ausführungen
- Dataform-Code-Lebenszyklus
- Was passiert während der Kompilierung?
- Anpassen und Planen von Kompilierungsergebnissen
- Ausführen von Workflows (UI, Cloud Scheduler, Cloud Composer)
- Protokollierung und Überwachung
- Automatisierte Ausführung von Dataform-SQL-Workflows
- Labor: Automatisieren und Überwachen von SQL-Workflow-Ausführungen in Dataform
7 Erweiterte Anwendungsfälle
- Erstellen einer BigLake-Tabelle nach dem Hochladen von Dateien mithilfe von Cloud Run-Funktionen
- Erstellen einer Machine Learning-Pipeline mit BigQuery ML
- Arbeiten mit langsam veränderlichen Dimensionen vom Typ 2
- Entdecken Sie weitere Anwendungsfälle für Dataform
- Labor: Erstellen einer BigLake-Tabelle mit Dataform mithilfe von Cloud-Run-Funktionen
Kenntnisse in SQL-Datenanalyse und BigQuery, wie in BigQuery for Data Analysts beschrieben