Kurs
digicode: MDMDP
Managing a Data Mesh with Dataplex
Kurs-Facts
- Erkennen der Bedeutung einer modernen Datenplattform
- Konfigurieren und Einrichten von Dataplex
- Sichern von Datenspeicher, Zonen und Assets
- Implementieren von Tagging für Ressourcen und Verwenden von Tags zur Suche nach Assets
- Verarbeiten von Daten mit Dataplex-Aufgaben
- Entwerfen, Ausführen und Berichten von Datenqualitätsprozessen
Mit Dataplex kannst du eine Data-Mesh-Architektur aufbauen, um die Datenhoheit unter den Domain-Datenbesitzern zu dezentralisieren.
In diesem Kurs lernst du anhand von geführten Vorlesungen und unabhängigen Übungen mit Beispieldaten, wie du deine Daten über Data Lakes, Data Warehouses und Data Marts hinweg erfassen, verwalten, überwachen und steuern kannst.
1 Einführung in Dataplex
- Moderne Datenplattformen und datenorientiertes Design
- Säulen der Datenverwaltung
- Was ist Dataplex?
- Funktionen von Dataplex
- Dataplex im Vergleich zu anderen Produkten auf Google Cloud
- Erkennen der Bedeutung einer modernen Datenplattform
- Erläutern der Rolle von Dataplex auf Google Cloud
2 Erstellen eines Data Mesh auf Dataplex
- Was ist ein Data Mesh?
- Dataplex-Konzepte
- Erstellen von Data Lakes und Zonen
- Assets in Dataplex
- Definieren wichtiger Dataplex-Konzepte
- Konfigurieren und Einrichten von Dataplex
- Labor: Bereitstellen eines Data Mesh mit Dataplex
3 Datenverarbeitung in Dataplex
- Datenverarbeitung in Dataplex
- Datenvorbereitungsaufgaben
- Erfassungsaufträge
- Datenfluss- und Spark-Aufgaben
- Verschiedene Datenverarbeitungsoptionen in Dataplex verstehen
- Datenvorbereitungsaufgaben in Dataplex konfigurieren und ausführen
- Labor: Daten mit Dataplex-Aufgaben standardisieren
4 Verwaltung der Datensicherheit mit Dataplex
- IAM-Berechtigungen und -Rollen
- Sichern Ihres Data Lake
- Richtlinienverwaltung
- Metadatensicherheit
- Sichern von Data Lakes, Zonen und Assets in Dataplex
- Labor: Verwalten der Datensicherheit mit Dataplex
5 Daten-Tagging und Datenkatalog
- Einführung in den Datenkatalog
- Technische Metadaten vs. geschäftliche Metadaten
- Tags und Tag-Vorlagen
- Einträge und Eintragsgruppen
- Datenherkunft
- Implementieren von Tagging für Ressourcen und Verwenden von Tags zum Suchen nach Assets
- Labor: Datenkatalog und Datenherkunft
6 Datenqualität und Profilerstellung
- Datenqualitätsaufgaben und AutoDQ
- Berichterstellung zur Datenqualität
- Datenprofilerstellung
- Entwerfen, Ausführen und Berichten von Datenqualitätsprozessen
- Labor: Datenqualität und Profilerstellung deiner Daten in BigQuery
7 Best Practices für Dataplex
- Best Practices
- End-to-End-Demo
- Implementieren von Best Practices für Dataplex
- Herausforderungslabor: Verwalten eines Data Mesh mit Dataplex
Abschluss der Kurse Modernizing Data Lakes and Data Warehouses with Google Cloud und Building Batch Data Pipelines on Google Cloud im Lernpfad Data Engineer oder gleichwertige Erfahrung mit Google Cloud.
Nicht behandelt: Dieser Kurs behandelt weder die Interaktion von Dataplex mit Dataproc Metastore noch befasst er sich eingehend mit BigLake-Konzepten.