Eine praktische Einführung in die Streamverarbeitung Schulung
Stream Processing bezieht sich auf die Echtzeit-Verarbeitung von "Daten in Bewegung", das heißt, Berechnungen werden auf Daten durchgeführt, sobald sie empfangen werden. Solche Daten werden als kontinuierliche Streams aus Datenquellen wie Sensorevents, Benutzeraktivitäten auf Websites, Finanztransaktionen, Kreditkartenabwicklungen und Clickstreams gelesen. Stream Processing-Frameworks können große Datenmengen in Echtzeit verarbeiten und wertvolle Erkenntnisse fast augenblicklich liefern.
In diesem von einem Trainer geführten, live-Schulung (vor Ort oder remote) lernen die Teilnehmer, verschiedene Stream Processing-Frameworks mit bestehenden Big Data-Speichersystemen und zugehörigen Softwareanwendungen sowie Mikro-Diensten zu integrieren.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Verschiedene Stream Processing-Frameworks wie Spark Streaming und Kafka Streaming zu installieren und zu konfigurieren.
- Das angemessenste Framework für den jeweiligen Anwendungsfall zu verstehen und auszuwählen.
- Daten kontinuierlich, parallel und zeilenweise zu verarbeiten.
- Stream Processing-Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. zu integrieren.
- Die passende Stream-Processing-Bibliothek in Unternehmensanwendungen und Mikro-Diensten zu integrieren.
Zielgruppe
- Entwickler
- Softwarearchitekten
Kursformat
- Theorieteil, Diskussionsteil, Übungen und intensive praktische Anwendungen
Hinweise
- Für eine angepasste Schulung zu diesem Kurs kontaktieren Sie uns gerne zur Terminabstimmung.
Schulungsübersicht
Einführung
- Streamverarbeitung im Vergleich zu Batch-Verarbeitung
- Fokus auf analytische Streamverarbeitung
Überblick über Frameworks und Programmiersprachen
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Vergleich der Eigenschaften und Stärken jedes Frameworks
Überblick über Datenquellen
- Echtzeitdaten als Reihe von Ereignissen im Zeitverlauf
- Historische Datenquellen
Bereitstellungs-Optionen
- In der Cloud (AWS usw.)
- Vor Ort (Private Cloud usw.)
Einstieg
- Einrichtung der Entwicklungsumgebung
- Installation und Konfiguration
- Auswertung Ihrer Datenanalyseanforderungen
Betrieb eines Stream-Verarbeitungsframeworks
- Integration des Streaming-Frameworks mit Big Data-Werkzeugen
- Ereignisstromverarbeitung (ESP) im Vergleich zu Komplexer Ereignisverarbeitung (CEP)
- Transformation der Eingangsdaten
- Überprüfung der Ausgabedaten
- Integration des Stream-Verarbeitungsframeworks mit vorhandenen Anwendungen und Microservices
Fehlerbehebung
Zusammenfassung und Fazit
Voraussetzungen
- Programmiererfahrung in einer beliebigen Sprache
- Eine Grundkenntnis von Big Data Konzepten (Hadoop usw.)
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Eine praktische Einführung in die Streamverarbeitung Schulung - Buchung
Eine praktische Einführung in die Streamverarbeitung Schulung - Anfrage
Eine praktische Einführung in die Streamverarbeitung - Beratungsanfrage
Beratungsanfrage
Erfahrungsberichte (1)
Genügend praktische Umsetzung, der Trainer ist kompetent
Chris Tan
Kurs - A Practical Introduction to Stream Processing
Maschinelle Übersetzung
Kommende Kurse
Kombinierte Kurse
Apache Kafka Connect
7 StundenDieses von einem Dozenten angeführte, lebendige Training in Schweiz (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka mit bestehenden Datenbanken und Anwendungen zur Verarbeitung, Analyse etc. integrieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Mit Kafka Connect große Mengen von Daten aus einer Datenbank in Kafka-Topics zu übertragen.
- Logdaten, die von Anwendungsservern erzeugt wurden, in Kafka-Topics zu übertragen.
- Jede gesammelte Daten für die Streamverarbeitung verfügbar zu machen.
- Daten aus Kafka-Topics in sekundäre Systeme zur Speicherung und Analyse zu exportieren.
Aufbau von Kafka-Lösungen mit Confluent
14 StundenDieses von einem Dozenten angeführte, lebendige Training (online oder vor Ort) richtet sich an Ingenieure, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu bauen und zu verwalten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Confluent Platform zu installieren und zu konfigurieren.
- Mit Confluents Verwaltungstools und -diensten Kafka einfacher zu betreiben.
- Eingehende Streamdaten zu speichern und zu verarbeiten.
- Kafka-Cluster zu optimieren und zu verwalten.
- Datenströme sicherzustellen.
Kursformat
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Hands-on Implementierung in einer live-Lab-Umgebung.
Möglichkeiten zur Kursanpassung
- Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
- Um eine angepasste Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Anordnung.
Datapipelines mit Apache Kafka aufbauen
7 StundenApache Kafka ist eine verteilte Streaming-Plattform. Es ist de facto der Standard für die Erstellung von Datapipelines und löst viele verschiedene Anwendungsfälle im Bereich der Datenverarbeitung: es kann als Message Queue, verteilter Log oder Streamprozessor verwendet werden, usw.
Wir beginnen mit einigen Theorien zu Datapipelines im Allgemeinen, bevor wir uns den grundlegenden Konzepten von Kafka widmen. Wir werden auch wichtige Komponenten wie Kafka Streams und Kafka Connect erkunden.
Distributed Messaging with Apache Kafka
14 StundenDieses Kurs ist für Unternehmensarchitekten, Entwickler, Systemadministratoren und alle, die ein Hochdurchsatz-Distributed-Messaging-System verstehen und verwenden möchten. Wenn Sie spezifischere Anforderungen haben (z. B. nur die Systemadministration), kann dieser Kurs angepasst werden, um besser Ihren Bedürfnissen zu entsprechen.
Kafka für Administratorinnen und Administrator*
21 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Systemadministratoren, die einen unternehmenstauglichen Kafka-Cluster einrichten, bereitstellen, verwalten und optimieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Einrichten und Verwalten eines Kafka-Clusters.
- Die Vor- und Nachteile der Bereitstellung von Kafka vor Ort und in der Cloud abwägen.
- Kafka in verschiedenen On-Premise- und Cloud-Umgebungen mit Hilfe von Tools bereitstellen und überwachen.
Apache Kafka für Entwickler
21 StundenDieses von einem Dozenten angeführte Live-Training in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die Big Data-Anwendungen mit Apache Kafka entwickeln möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka-Produzenten und -Verbraucher zu entwickeln, um Daten an Kafka zu senden und von dort zu lesen.
- Kafka mit externen Systemen mittels Kafka Connect zu integrieren.
- Streaminganwendungen mit Kafka Streams & ksqlDB zu schreiben.
- Eine Kafka-Client-Anwendung mit Confluent Cloud für cloudbasierte Kafka-Bereitstellungen zu integrieren.
- Durch praktische Übungen und realistische Anwendungsfälle praktische Erfahrungen zu sammeln.
Apache Kafka für Python-Programmierer
7 StundenDiese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Apache Kafka-Funktionen in Datenströmen mit Python nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zur Überwachung und Verwaltung von Bedingungen in kontinuierlichen Datenströmen mit Python-Programmierung zu verwenden.
Sicherheit für Apache Kafka
7 StundenDieses von einem Dozenten angeführte, Live-Training in Schweiz (online oder vor Ort) richtet sich an Softwaretester, die Sicherheitsmaßnahmen für Netzwerke in einer Apache Kafka-Anwendung implementieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Apache Kafka auf einem cloudbasierten Server bereitzustellen.
- SSL-Verschlüsselung zu implementieren, um Angriffe zu verhindern.
- ACL-Authentifizierung hinzuzufügen, um den Zugriff und die Kontrolle von Benutzern zu überwachen.
- Sicherzustellen, dass vertrauenswürdige Clients mit SSL- und SASL-Authentifizierung auf Kafka-Cluster zugreifen können.
Apache Kafka und Spring Boot
7 StundenDieses von einem Trainer geleitete Live-Training in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die das Grundlagenwissen zu Kafka erwerben möchten und es mit Spring Boot integrieren wollen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka und seine Architektur zu verstehen.
- Zu lernen, wie man eine grundlegende Kafka-Umgebung installiert, konfiguriert und einrichtet.
- Kafka mit Spring Boot zu integrieren.
Stream Processing mit Kafka Streams
7 StundenKafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Microservices, deren Daten in ein Kafka Messaging-System übertragen werden. Traditionell hat Apache Kafka auf Apache Spark oder Apache Storm zur Verarbeitung der Daten zwischen den Nachrichtenproduzenten und -verbrauchern zurückgegriffen. Durch Aufruf der Kafka Streams API innerhalb einer Anwendung kann die Datenverarbeitung direkt in Kafka erfolgen, ohne dass die Daten an einen separaten Cluster zur Verarbeitung gesendet werden müssen.
In diesem von einem Dozenten geleiteten, live Training lernen die Teilnehmer, wie sie Kafka Streams in eine Reihe von Beispiel-Java-Anwendungen integrieren können, die Daten an und von Apache Kafka für Stream-Verarbeitung übertragen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka Streams-Funktionen und -Vorteile gegenüber anderen Stream-Verarbeitungsframeworks zu verstehen
- Datenstromdaten direkt innerhalb eines Kafka-Clusters zu verarbeiten
- Eine Java- oder Scala-Anwendung oder einen Microservice zu schreiben, der mit Kafka und Kafka Streams integriert ist
- Kompakten Code zu schreiben, der Eingangstopics von Kafka in Ausgangstopics von Kafka transformiert
- Die Anwendung aufzubauen, einzupacken und bereitzustellen
Zielgruppe
- Entwickler
Kursformat
- Teil Vorlesung, teil Diskussion, Übungen und intensive praktische Übungen
Anmerkungen
- Um ein personalisiertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Absprache
Administration of Kafka Topic
14 StundenDiese von einem Trainer geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Systemadministratoren, die lernen möchten, wie sie Kafka-Themen für effizientes Datenstreaming und -verarbeitung effektiv verwalten können.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen und die Architektur von Kafka-Themen zu verstehen.
- Kafka-Themen erstellen, konfigurieren und verwalten.
- Kafka-Topics auf Zustand, Leistung und Verfügbarkeit zu überwachen.
- Sicherheitsmaßnahmen für Kafka-Themen zu implementieren.
SMACK-Stack für Data Science
14 StundenDieses von einem Trainer angeleitete, Live-Training in Schweiz (online oder vor Ort) richtet sich an Datenwissenschaftler, die das SMACK Stack verwenden möchten, um Datenverarbeitungsplattformen für Big Data-Lösungen zu erstellen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Eine Datenpipeline-Architektur zur Verarbeitung von Big Data zu implementieren.
- Eine Cluster-Infrastruktur mit Apache Mesos und Docker zu entwickeln.
- Daten mit Spark und Scala zu analysieren.
- Unstrukturierte Daten mit Apache Cassandra zu verwalten.
Python und Spark für Big Data (PySpark)
21 StundenIn dieser von einem Trainer geleiteten Live-Schulung in Schweiz lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
- An Übungen arbeiten, die reale Fälle nachahmen.
- Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.
Microservices mit Spring Cloud und Kafka
21 StundenDieses von einem Trainer geleitete Live-Training in Schweiz (online oder vor Ort) richtet sich an Entwickler, die eine traditionelle Architektur in eine hochgradig konkurrierende Microservices-basierte Architektur mit Spring Cloud, Kafka, Docker, Kubernetes und Redis transformieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Die notwendige Entwicklungsumgebung für die Erstellung von Microservices einzurichten.
- Eine hochgradig konkurrierende Microservices-Ökosystem mit Spring Cloud, Kafka, Redis, Docker und Kubernetes zu entwerfen und umzusetzen.
- Monolithische und SOA-Dienste in eine Microservices-basierte Architektur zu transformieren.
- Einen DevOps-Ansatz bei der Entwicklung, dem Testen und dem Release von Software zu adoptieren.
- Hochgradige Konkurrenz unter den Microservices in der Produktion sicherzustellen.
- Microservices zu überwachen und Wiederherstellungsstrategien umzusetzen.
- Leistungsoptimierungen durchzuführen.
- Sich über zukünftige Trends in der Microservices-Architektur zu informieren.
Stratio: Rocket und Intelligence Module mit PySpark
14 StundenStratio ist eine datenzentrierte Plattform, die Big Data, KI und Governance in ein einziges Lösungsprodukt integriert. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenexploration, Transformation und erweiterte Analysen in Unternehmensumgebungen.
Dieser von einem Dozenten geleitete Live-Kurs (online oder vor Ort) richtet sich an fortgeschrittene Datenprofessionals, die die Module Rocket und Intelligence effektiv mit PySpark nutzen möchten. Der Schwerpunkt liegt auf Schleifenstrukturen, benutzerdefinierten Funktionen und erweiterten Datenlogiken.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- In der Stratio-Plattform mithilfe der Module Rocket und Intelligence zu navigieren und zu arbeiten.
- PySpark im Kontext von Datenimport, Transformation und Analyse anzuwenden.
- Schleifen und bedingte Logiken zur Steuerung von Datenaufgaben und Merkmalsingenieurprozessen zu verwenden.
- Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenoperationen in PySpark zu erstellen und zu verwalten.
Format des Kurses
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Hands-on-Implementierung in einer live-Lab-Umgebung.
Optionen zur Anpassung des Kurses
- Bei Interesse an einer angepassten Ausbildung für diesen Kurs, kontaktieren Sie uns bitte, um eine Anfrage zu stellen.