Spark Streaming with Python and Kafka Schulung

Diese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka in bestehende Datenbanken und Anwendungen zur Verarbeitung, Analyse usw. integrieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Nutzen Sie Kafka Connect, um große Datenmengen aus einer Datenbank in Kafka-Themen aufzunehmen.
• Protokolldaten, die von einem Anwendungsserver generiert werden, in Kafka-Themen aufnehmen.
• Die gesammelten Daten für die Stream-Verarbeitung verfügbar machen.
• Daten aus Kafka-Themen in sekundäre Systeme zur Speicherung und Analyse exportieren.

Diese Live-Schulung (vor Ort oder per Fernzugriff) richtet sich an Techniker, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten.

Am Ende dieser Schulung können die Teilnehmer:

• Installieren und konfigurieren Sie Confluent Platform.
• Verwenden Sie die Verwaltungstools und -dienste von Confluent, um Kafka einfacher auszuführen.
• Speichern und verarbeiten Sie eingehende Stream-Daten.
• Optimieren und verwalten Sie Kafka-Cluster.
• Sichere Datenströme.

Format des Kurses

• Interaktiver Vortrag und Diskussion.
• Viele Übungen und Übungen.
• Praktische Implementierung in einer Live-Laborumgebung.

Anpassungsoptionen für den Kurs

• Dieser Kurs basiert auf der Open Source-Version von Confluent: Confluent Open Source.
• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren.

Apache Kafka ist eine verteilte Streaming-Plattform. Es ist de facto ein Standard für den Bau von Datenpipelines und löst viele verschiedene Anwendungsfälle im Bereich der Datenverarbeitung: Es kann als Nachrichtenwarteschlange, verteiltes Protokoll, Stream-Prozessor usw. verwendet werden.

Wir beginnen mit einer Theorie hinter Daten-Pipelines im Allgemeinen und fahren dann mit grundlegenden Konzepten hinter Kafka fort. Wir werden auch wichtige Komponenten wie Kafka Streams und Kafka Connect entdecken.

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie verschiedene Stream Processing Frameworks mit bestehenden Big-Data-Speichersystemen und zugehörigen Softwareanwendungen und Microservices einrichten und integrieren können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und Konfigurieren verschiedener Stream Processing Frameworks, wie Spark Streaming und Kafka Streaming.
• Das am besten geeignete Framework für die jeweilige Aufgabe verstehen und auswählen.
• Daten kontinuierlich, gleichzeitig und Datensatz für Datensatz verarbeiten.
• Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. integrieren Stream Processing.
• Integrieren Sie die am besten geeignete Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices.

Dieser Kurs richtet sich an Unternehmensarchitekten, Entwickler, Systemadministratoren und alle, die ein verteiltes Messagingsystem mit hohem Durchsatz verstehen und verwenden möchten. Wenn Sie spezifischere Anforderungen haben (z. B. nur Systemadministration), kann dieser Kurs besser auf Ihre Bedürfnisse zugeschnitten werden.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Systemadministratoren, die einen unternehmenstauglichen Kafka-Cluster einrichten, bereitstellen, verwalten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Einrichten und Verwalten eines Kafka-Clusters.
• Die Vor- und Nachteile der Bereitstellung von Kafka vor Ort und in der Cloud abwägen.
• Kafka in verschiedenen On-Premise- und Cloud-Umgebungen mit Hilfe von Tools bereitstellen und überwachen.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die Big-Data-Anwendungen mit Apache Kafka entwickeln möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

Entwicklung von Kafka-Produzenten und -Konsumenten zum Senden und Lesen von Daten aus Kafka. Integration von Kafka mit externen Systemen mit Kafka Connect. Schreiben Sie Streaming-Anwendungen mit Kafka Streams & ksqlDB. Integrieren Sie eine Kafka-Client-Anwendung mit Confluent Cloud für cloudbasierte Kafka-Bereitstellungen. Sammeln Sie praktische Erfahrungen durch praktische Übungen und reale Anwendungsfälle.

Diese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Apache Kafka-Funktionen in Datenströmen mit Python nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zur Überwachung und Verwaltung von Bedingungen in kontinuierlichen Datenströmen mit Python-Programmierung zu verwenden.

Diese Live-Schulung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Systemadministratoren, die die Message-Queuing-Funktionen von Kafka effektiv nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• die Message Queuing-Funktionen und die Architektur von Kafka zu verstehen.
• Kafka-Themen für Message-Queuing-Szenarien zu konfigurieren.
• Nachrichten mit Kafka zu produzieren und zu konsumieren.
• Kafka als Nachrichtenwarteschlange zu überwachen und zu verwalten.

Diese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Software-Tester, die Netzwerksicherheits maßnahmen in eine Apache Kafka-Anwendung implementieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Apache Kafka auf einem Cloud-basierten Server einrichten.
• Implementieren Sie SSL-Verschlüsselung, um Angriffe zu verhindern.
• Fügen Sie ACL-Authentifizierung hinzu, um den Benutzerzugriff zu verfolgen und zu kontrollieren.
• Sicherstellen, dass glaubwürdige Clients mit SSL und SASL-Authentifizierung Zugang zu Kafka-Clustern haben.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die die Grundlagen von Kafka erlernen und mit Spring Boot integrieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

Verstehen von Kafka und seiner Architektur. Lernen, wie man eine grundlegende Kafka-Umgebung installiert, konfiguriert und einrichtet. Integration von Kafka mit Spring Boot.

Kafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Mikrodiensten, deren Daten an ein und von einem Kafka-Messagingsystem übertragen werden. Traditionell hat sich Apache Kafka auf Apache Spark oder Apache Storm , um Daten zwischen Nachrichtenproduzenten und -konsumenten zu verarbeiten. Durch Aufrufen der Kafka Streams-API aus einer Anwendung heraus können Daten direkt in Kafka verarbeitet werden, ohne dass die Daten zur Verarbeitung an einen separaten Cluster gesendet werden müssen.

In diesem von Lehrern geführten Live-Training lernen die Teilnehmer, wie sie Kafka-Streams in eine Reihe von Java Beispielanwendungen integrieren, die Daten zur Stream-Verarbeitung an Apache Kafka und von diesem weitergeben.

Am Ende dieser Schulung können die Teilnehmer:

• Verstehen der Funktionen und Vorteile von Kafka Streams gegenüber anderen Frameworks für die Stream-Verarbeitung
• Verarbeiten Sie Stream-Daten direkt in einem Kafka-Cluster
• Schreiben Sie eine Java oder Scala Anwendung oder einen Microservice, der sich in Kafka und Kafka Streams integrieren lässt
• Schreiben Sie prägnanten Code, der Eingabe-Kafka-Themen in Ausgabe-Kafka-Themen umwandelt
• Erstellen, packen und implementieren Sie die Anwendung

Publikum

• Entwickler

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben

Anmerkungen

• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren

Diese von einem Trainer geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Systemadministratoren, die lernen möchten, wie sie Kafka-Themen für effizientes Datenstreaming und -verarbeitung effektiv verwalten können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Die Grundlagen und die Architektur von Kafka-Themen zu verstehen.
• Kafka-Themen erstellen, konfigurieren und verwalten.
• Kafka-Topics auf Zustand, Leistung und Verfügbarkeit zu überwachen.
• Sicherheitsmaßnahmen für Kafka-Themen zu implementieren.

Diese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka Stream Processing implementieren möchten, ohne Code zu schreiben.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Confluent KSQL zu installieren und zu konfigurieren.
• eine Stream-Processing-Pipeline nur mit SQL-Befehlen einzurichten (keine Java- oder Python-Codierung).
• Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionization vollständig in SQL durchzuführen.
• Interaktive, kontinuierliche Abfragen für Streaming ETL und Echtzeit-Analysen entwerfen und einsetzen.

Apache Samza ist ein Open-Source-Framework für die asynchrone Stream-Verarbeitung in Echtzeit. Es verwendet Apache Kafka für Messaging und Apache Hadoop YARN für Fehlertoleranz, Prozessorisolation, Sicherheit und Ressourcenverwaltung.

Dieses von Lehrern geleitete Live-Training führt in die Prinzipien von Messaging-Systemen und der verteilten Stream-Verarbeitung ein und führt die Teilnehmer durch die Erstellung eines Samza-basierten Beispielprojekts und die Auftragsausführung.

Am Ende dieser Schulung können die Teilnehmer:

• Verwenden Sie Samza, um den Code zum Erstellen und Verarbeiten von Nachrichten zu vereinfachen.
• Entkoppeln Sie die Verarbeitung von Nachrichten aus einer Anwendung.
• Verwenden Sie Samza, um zeitnahe asynchrone Berechnungen durchzuführen.
• Verwenden Sie die Stream-Verarbeitung, um eine höhere Abstraktionsebene für Messagingsysteme bereitzustellen.

Publikum

• Entwickler

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben