Kurs
digicode: WOCC
Workflow Orchestration with Cloud Composer
Cloud Composer ist ein vollständig verwalteter Workflow-Orchestrierungsdienst, der auf Apache Airflow basiert. Mit Composer kannst du Workflow-Pipelines erstellen, planen, überwachen und verwalten, die sich über Clouds und lokale Rechenzentren erstrecken.
Dauer
1 Tag
Preis
850.–
zzgl. 7.7% MWST
Kurs-Facts
- Erkunden von Apache Airflow und Cloud Composer als Lösungen für die Workflow-Orchestrierung
- Erstellen und Verwalten von Airflow-DAGs gemäss Best Practices
- Testen und Debuggen von Airflow-DAGs
- Überwachen und Beobachten von Airflow-DAGs in Cloud Composer
In diesem Kurs lernst du Apache Airflow und dessen Implementierung über Cloud Composer kennen. Du erfährst, wie du Composer-Instanzen bereitstellst, Airflow-DAGs auf Composer erstellst und verwaltest sowie Aufgaben wie das Testen, Debuggen und Überwachen von Airflow-DAGs durchführst.
1 Einführung in Cloud Composer
- Der Bedarf von Dateningenieuren an Workflow-Orchestrierung
- Einführung in Apache Airflow
- Cloud Composer
- Einrichtung der Umgebung
- Verwendung von Composer und Airflow
- Entdecke Apache Airflow und Cloud Composer
- Bereitstellung von Cloud Composer-Instanzen
- Entdecke die die Benutzeroberflächen von Airflow und Composer
- Labor: Bereitstellung von Cloud Composer
2 Erstellen und Verwalten von DAGs
- DAG-Struktur und Best Practices
- Gängige Operatoren
- Abhängigkeiten, Triggerregeln und Ablaufsteuerung
- Integration von Airflow und Google Cloud Services
- DAGs schreiben
- Gängige Airflow-Operatoren erkunden
- Trigger, Abhängigkeiten und Ablaufsteuerung verwalten
- Airflow in Google Cloud Services integrieren
- Labor: Zusammenstellen eines Datenverarbeitungs-Workflows
3 Erweiterte Airflow-Techniken und Best Practices
- Erweiterte Airflow-Funktionen
- Debugging von DAGs
- Leistung und Skalierbarkeit
- Sicherheit und Zugriffskontrolle
- Beobachtbarkeit und Überwachung
- Erweiterte Airflow-Funktionen nutzen
- DAGs debuggen
- Beobachten und Überwachen laufender DAGs
- Labor: DAGs erweitern und überwachen
Kenntnisse in Datenanalyse und -technik auf Google Cloud