Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in Apache Airflow
- Was ist Workflow-Orchestrierung?
- Wichtige Merkmale und Vorteile von Apache Airflow
- Verbesserungen in Airflow 2.x und Überblick über das Ökosystem
Architektur und Kernkonzepte
- Scheduler, Web-Server und Worker-Prozesse
- DAGs, Aufgaben und Operatoren
- Executoren und Backends (Local, Celery, Kubernetes)
Installation und Setup
- Installation von Airflow in lokalen und Cloud-Umgebungen
- Konfiguration von Airflow mit verschiedenen Executoren
- Einrichten von Metadaten-Datenbanken und Verbindungen
Navigieren in der Airflow-Benutzeroberfläche und CLI
- Erkundung der Airflow-Web-Oberfläche
- Überwachen von DAG-Läufen, Aufgaben und Logs
- Verwaltung von Airflow mit der CLI
Erstellen und Verwalten von DAGs
- Erstellen von DAGs mit dem TaskFlow-API
- Verwenden von Operatoren, Sensoren und Hooks
- Verwalten von Abhängigkeiten und Zeitintervallen
Integration von Airflow mit Daten- und Cloud-Diensten
- Verbindung zu Datenbanken, APIs und Messaging-Queues
- Betreiben von ETL-Pipelines mit Airflow
- Cloud-Integration: AWS, GCP, Azure-Operatoren
Überwachung und Observabilität
- Task-Logs und Echtzeitüberwachung
- Metriken mit Prometheus und Grafana
- Benachrichtigungen und Warnungen per E-Mail oder Slack
Sichern von Apache Airflow
- Rollenbasierte Zugriffskontrolle (RBAC)
- Authentifizierung mit LDAP, OAuth und SSO
- Verwaltung von Geheimnissen mit Vault und Cloud-Geheimnis-Speichern
Skalieren von Apache Airflow
- Parallelität, Konkurrenz und Task-Warteschlangen
- Verwenden des CeleryExecutor und KubernetesExecutor
- Bereitstellen von Airflow auf Kubernetes mit Helm
Best Practices für die Produktion
- Versionskontrolle und CI/CD für DAGs
- Testen und Debuggen von DAGs
- Wartung von Zuverlässigkeit und Leistung bei Skalierung
Fehlersuche und Optimierung
- Debuggen fehlgeschlagener DAGs und Aufgaben
- Optimieren der DAG-Leistung
- häufige Fallstricke und wie man sie vermeidet
Zusammenfassung und weitere Schritte
Voraussetzungen
- Erfahrung mit Python-Programmierung
- Kenntnisse in Datenverarbeitung oder DevOps-Konzepten
- Verständnis von ETL oder Workflow-Orchestrierung
Zielgruppe
- Data Scientists
- Data Engineers
- DevOps- und Infrastruktur-Ingenieure
- Softwareentwickler
21 Stunden
Erfahrungsberichte (7)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
Die Schulung war genau richtig. Sehr nützliche Theorie und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nutzbringende theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
