Schulungsübersicht

Einführung

Überblick über Spark Streaming Funktionen und Architektur

  • Unterstützte Datenquellen
  • Kern-APIs

Vorbereiten der Umgebung

  • Abhängigkeiten
  • Spark und Streaming-Kontext
  • Verbinden mit Kafka

Verarbeitung von Meldungen

  • Parsing eingehender Nachrichten als JSON
  • ETL-Prozesse
  • Starten des Streaming-Kontextes

Durchführen einer Fensterung Stream Processing

  • Dia-Intervall
  • Konfiguration der Checkpoint-Zustellung
  • Starten der Umgebung

Prototyping des Verarbeitungscodes

  • Verbinden mit einem Kafka-Thema
  • Abrufen von JSON aus einer Datenquelle mit Paw
  • Variationen und zusätzliche Verarbeitung

Streaming des Codes

  • Auftragssteuerungsvariablen
  • Definieren passender Werte
  • Funktionen und Bedingungen

Erfassen der Streamausgabe

  • Zähler
  • Kafka-Ausgabe (übereinstimmend und nicht übereinstimmend)

Fehlersuche

Zusammenfassung und Schlussfolgerung

Voraussetzungen

  • Erfahrungen mit Python und Apache Kafka
  • Vertrautheit mit Stream-Processing-Plattformen

Publikum

  • Dateningenieure
  • Datenwissenschaftler
  • Programmierer
 7 Stunden

Teilnehmerzahl


Preis je Teilnehmer

Erfahrungsberichte (5)

Verwandte Kategorien