Schulungsübersicht

Einführung

  • Apache Beam vs. MapReduce, Spark Streaming, Kafka Streaming, Storm und Flink

Installieren und Konfigurieren Apache Beam

Überblick über Apache Beam Funktionen und Architektur

  • Beam Modell, SDKs, Beam Pipeline Läufer
  • Verteilte Verarbeitung von Backends

Verstehen des Apache Beam Programming Modells

  • Wie eine Pipeline ausgeführt wird

Ausführen einer Beispiel-Pipeline

  • Vorbereiten einer WordCount-Pipeline
  • Ausführen der Pipeline vor Ort

Entwerfen einer Pipeline

  • Planung der Struktur, Auswahl der Transformationen und Festlegung der Eingabe- und Ausgabemethoden

Erstellen der Pipeline

  • Schreiben des Treiberprogramms und Definieren der Pipeline
  • Verwendung von Apache Beam-Klassen
  • Datensätze, Transformationen, E/A, Datenkodierung usw.

Ausführen der Pipeline

  • Ausführen der Pipeline lokal, auf entfernten Rechnern und in einer öffentlichen Cloud
  • Auswählen eines Runners
  • Läuferspezifische Konfigurationen

Testen und Fehlersuche Apache Beam

  • Verwendung von Typ-Hinweisen zur Emulation der statischen Typisierung
  • Verwalten Python von Pipeline-Abhängigkeiten

Verarbeitung begrenzter und unbegrenzter Datensätze

  • Fensterung und Auslöser

Pipelines wiederverwendbar und pflegbar machen

Neue Datenquellen und -senken erstellen

  • Apache Beam Quelle und Senke API

Integration von Apache Beam mit anderen Big Data Systemen

  • Apache Hadoop, Apache Spark, Apache Kafka

Fehlersuche

Zusammenfassung und Fazit

Voraussetzungen

  • Erfahrungen mit Python Programmierung.
  • Erfahrungen mit der Linux-Kommandozeile.

Publikum

  • Entwickler
  14 Stunden
 

Teilnehmerzahl


Beginnt

Endet


Die Termine sind abhängig von der Verfügbarkeit und finden zwischen 09:30 und 16:30 statt.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.

Erfahrungsberichte (1)

Kombinierte Kurse

Stream Processing with Kafka Streams

  7 Stunden

Verwandte Kategorien