Schulungsübersicht
Einführung in Apache Airflow
- Was ist Workflow-Orchestratio?
- Wichtige Funktionen und Vorteile von Apache Airflow
- Verbesserungen und Ökosystemübersicht von Airflow 2.x
Architektur und Kernkonzepte
- Scheduler, Webserver und Worker-Prozesse
- DAGs, Tasks und Operatoren
- Executoren und Backends (Local, Celery, Kubernetes)
Installation und Einrichtung
- Installation von Airflow in lokalen und Cloud-Umgebungen
- Konfiguration von Airflow mit verschiedenen Executoren
- Einrichten von Metadaten-Datenbanken und Verbindungen
Navigieren in der Airflow-Benutzeroberfläche und CLI
- Erkunden der Airflow-Weboberfläche
- Überwachen von DAG-Läufen, Tasks und Logs
- Verwenden der Airflow CLI für Administrationstätigkeiten
Erstellen und Verwalten von DAGs
- Erstellen von DAGs mit der TaskFlow-API
- Verwenden von Operatoren, Sensoren und Hooks
- Verwalten von Abhängigkeiten und Planungsintervallen
Integration von Airflow mit Daten- und Cloud-Diensten
- Verbinden mit Datenbanken, APIs und Message Queues
- Ausführen von ETL-Pipelines mit Airflow
- Cloud-Integrationen: AWS-, GCP- und Azure-Operatoren
Überwachung und Observability
- Task-Logs und Echtzeitüberwachung
- Metriken mit Prometheus und Grafana
- Alarmierung und Benachrichtigungen via E-Mail oder Slack
Sicherheit von Apache Airflow
- Rollenbasierte Zugriffskontrolle (RBAC)
- Authentifizierung mit LDAP, OAuth und SSO
- Secrets Management mit Vault und Cloud-Secret-Speichern
Skalierung von Apache Airflow
- Parallelität, Konurrenz und Task-Queues
- Einsatz von CeleryExecutor und KubernetesExecutor
- Bereitstellung von Airflow auf Kubernetes mit Helm
Best Practices für die Produktion
- Versionskontrolle und CI/CD für DAGs
- Testen und Debuggen von DAGs
- Aufrechterhaltung der Zuverlässigkeit und Leistung im grossen Massstab
Fehlersuche und Optimierung
- Debuggen fehlgeschlagener DAGs und Tasks
- Optimieren der DAG-Leistung
- Häufige Fallstricke und deren Vermeidung
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung in der Python-Programmierung
- Vertrautheit mit Konzepten der Data Engineering oder DevOps
- Verständnis von ETL-Prozessen oder Workflow-Orchestratio
Zielgruppe
- Data Scientists
- Data Engineers
- DevOps- und Infrastruktur-Ingenieure
- Softwareentwickler
Erfahrungsberichte (7)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
Die Schulung war genau richtig. Sehr nützliche Theorie und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nutzbringende theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
