Schulungsübersicht
Zusammenfassung der Apache-Airflow-Grundlagen
- Kernkonzepte: DAGs, Operatoren und Ablauf
- Airflow-Architektur und Komponenten
- Verständnis fortgeschrittener Anwendungsfälle und Workflows
Erstellung benutzerdefinierter Operatoren
- Verständnis der Struktur eines Airflow-Operators
- Entwicklung benutzerdefinierter Operatoren für spezifische Aufgaben
- Tests und Debugging von benutzerdefinierten Operatoren
Bенutzerdefinierte Hooks und Sensoren
- Implementierung von Hooks für die Integration externer Systeme
- Erstellung von Sensoren zur Überwachung externer Trigger
- Verbesserung der Workflow-Interaktivität mit benutzerdefinierten Sensoren
Entwicklung von Airflow-Plugins
- Verständnis der Plugin-Architektur
- Design von Plugins zur Erweiterung der Airflow-Funktionalität
- Best Practices für das Management und die Bereitstellung von Plugins
Integration von Airflow mit externen Systemen
- Anbindung von Airflow an Datenbanken, APIs und Cloud-Dienste
- Nutzung von Airflow für ETL-Workflows und Echtzeit-Datenverarbeitung
- Verwaltung der Abhängigkeiten zwischen Airflow und externen Systemen
Fortschrittliches Debugging und Monitoring
- Nutzung von Airflow-Logs und Metriken zur Fehlerbehebung
- Konfiguration von Warnungen und Benachrichtigungen bei Workflow-Problemen
- Einsatz externer Monitoring-Tools in Verbindung mit Airflow
Optimierung der Leistung und Skalierbarkeit
- Skalierung von Airflow mit Celery- und Kubernetes-Executors
- Optimierung der Ressourcennutzung in komplexen Workflows
- Strategien für Hochverfügbarkeit und Fehlertoleranz
Praxisbeispiele und reale Anwendungen
- Erforschung fortgeschrittener Anwendungsfälle in Data Engineering und DevOps
- Fallstudie: Implementierung eines benutzerdefinierten Operators für grossflächige ETL-Prozesse
- Best Practices für das Management von Workflows im Unternehmensumfeld
Zusammenfassung und nächste Schritte
Voraussetzungen
- Tiefgreifendes Verständnis der Grundlagen von Apache Airflow, einschliesslich DAGs (Directed Acyclic Graphs), Operatoren und Ausführungssarchitektur
- Sicherer Umgang mit Python-Programmierung
- Erfahrung mit der Integration von Datenintegrationssystemen und Workflow-Orchestrierung
Zielgruppe
- Dateningenieure
- DevOps-Ingenieure
- Softwarearchitekten
Erfahrungsberichte (1)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
