Stream processing Schulungen

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability。

In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

- Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
- Achieve persistence without syncing data back to a relational database.
- Use Ignite to carry out SQL and distributed joins.
- Improve performance by moving data closer to the CPU, using RAM as a storage.
- Spread data sets across a cluster to achieve horizontal scalability.
- Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Apex ist eine YARNnative-Plattform, die Stream- und Batch-Verarbeitung vereint Es verarbeitet große Datenbewegungen in einer Weise, die skalierbar, performant, fehlertolerant, zustandsorientiert, sicher, verteilt und einfach zu bedienen ist Dieses integrierte Live-Training stellt Apache Apex's vereinheitlichte Stream-Processing-Architektur vor und führt die Teilnehmer durch die Erstellung einer verteilten Anwendung mit Apex auf Hadoop Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verständnis von Datenverarbeitungs-Pipeline-Konzepten wie Konnektoren für Quellen und Senken, gemeinsame Datentransformationen usw Erstellen, skalieren und optimieren Sie eine Apex-Anwendung Verarbeiten Sie Echtzeitdatenströme zuverlässig und mit minimaler Latenz Verwenden Sie Apex Core und die Apex Malhar-Bibliothek, um eine schnelle Anwendungsentwicklung zu ermöglichen Verwenden Sie die Apex-API, um vorhandenen Java-Code zu schreiben und wiederzuverwenden Integrieren Sie Apex als Verarbeitungsmodul in andere Anwendungen Optimieren, testen und skalieren Sie Apex-Anwendungen Publikum Entwickler Unternehmensarchitekten Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Beam ist ein Open-Source-Programm zur einheitlichen Definition und Ausführung von parallelen Datenverarbeitungspipelines Seine Stärke liegt in der Fähigkeit, sowohl Batch- als auch Streaming-Pipelines auszuführen, wobei die Ausführung durch eines der von Beam unterstützten verteilten Verarbeitungs-Backends ausgeführt wird: Apache Apex, Apache Fink, Apache Spark und Google Cloud Dataflow Apache Beam ist nützlich für ETL-Aufgaben (Extrahieren, Transformieren und Laden), z B zum Verschieben von Daten zwischen verschiedenen Speichermedien und Datenquellen, zum Umwandeln von Daten in ein wünschenswertes Format und zum Laden von Daten in ein neues System In diesem instruierten Live-Training (vor Ort oder remote) lernen die Teilnehmer, wie sie die Apache Beam SDKs in einer Java- oder Python-Anwendung implementieren, die eine Datenverarbeitungspipeline zum Zerlegen eines großen Datensatzes in kleinere Blöcke für die unabhängige, parallele Verarbeitung definiert Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie Apache Beam Verwenden Sie ein einzelnes Programmiermodell, um sowohl die Batch- als auch die Stream-Verarbeitung auszuführen, indem Sie ihre Java- oder Python-Anwendung verwenden Führen Sie Pipelines über mehrere Umgebungen hinweg aus Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Hinweis Dieser Kurs wird in Zukunft Scala zur Verfügung stehen Bitte kontaktieren Sie uns, um zu vereinbaren .

Dieses von Lehrern geleitete Live-Training (vor Ort oder Remote) richtet sich an Ingenieure, die Confluent (eine Distribution von Kafka) nutzen möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten.

Am Ende dieses Trainings können die Teilnehmer:

- installieren und konfluent Platform konfigurieren.
- verwenden Sie die Management-Tools und-Dienste von Confluent, um Kafka einfacher zu betreiben.
- die eingehenden Streamdaten speichern und verarbeiten.
- Kafka Cluster optimieren und verwalten.
- Datenströme sichern.

Format der

- interaktiven Vortrag und Diskussion
. - Viele Übungen und Übungen
. - Hands-on-Umsetzung in einem Live-Labor-Umfeld
.

- Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
- Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um
zu arrangieren.

Apache Flink ist ein Open Source-Framework für skalierbare Stream- und Batch-Datenverarbeitung In diesem instruierten Live-Training werden die Prinzipien und Vorgehensweisen für die verteilte Datenverarbeitung im Stream und Batch vorgestellt und die Teilnehmer durch die Erstellung einer Echtzeit-Daten-Streaming-Anwendung geführt Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Richten Sie eine Umgebung für die Entwicklung von Datenanalyseanwendungen ein Paketieren, Ausführen und Überwachen von flinkbasierten, fehlertoleranten Daten-Streaming-Anwendungen Verwalten Sie verschiedene Workloads Führen Sie erweiterte Analysen mit Flink ML durch Richten Sie einen multinode Flink-Cluster ein Messen und optimieren Sie die Leistung Integrieren Sie Flink in verschiedene Big Data Systeme Vergleichen Sie Flink-Funktionen mit denen anderer Big Data-Frameworks Publikum Entwickler Architekten Dateningenieure Analytics-Profis Technische Manager Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Die Stream-Verarbeitung bezieht sich auf die Echtzeitverarbeitung von "Daten in Bewegung", dh auf Berechnungen von Daten während des Empfangs Diese Daten werden als kontinuierliche Datenströme aus Datenquellen wie Sensorereignisse, Website-Benutzeraktivitäten, Finanzgeschäfte, Kreditkarten-Swipes, Klick-Streams usw gelesen Stream-Processing-Frameworks können große Mengen eingehender Daten lesen und liefern nahezu unmittelbar wertvolle Informationen In diesem instruierten Live-Training (vor Ort oder Remote) lernen die Teilnehmer, wie sie verschiedene Stream-Processing-Frameworks mit bestehenden Big-Data-Storage-Systemen und zugehörigen Software-Anwendungen und Microservices einrichten und integrieren können Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie verschiedene Stream Processing-Frameworks, z B Spark Streaming und Kafka Streaming Verstehen und wählen Sie das am besten geeignete Framework für den Job aus Prozess von Daten kontinuierlich, gleichzeitig und in einer Aufzeichnung durch Aufzeichnungsmodus Integration von Stream-Processing-Lösungen in bestehende Datenbanken, Data Warehouses, Data Lakes usw Integration der am besten geeigneten Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices Publikum Entwickler Software-Architekten Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Anmerkungen Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

Kafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Microservices, deren Daten an ein Kafka-Messaging-System übergeben werden Traditionell hat sich Apache Kafka auf Apache Spark oder Apache Storm verlassen, um Daten zwischen Nachrichtenproduzenten und Konsumenten zu verarbeiten Durch den Aufruf der Kafka Streams API aus einer Anwendung heraus können Daten direkt in Kafka verarbeitet werden, ohne dass die Daten zur Verarbeitung an einen separaten Cluster gesendet werden müssen In diesem instruierten Live-Training lernen die Teilnehmer, wie sie Kafka Streams in eine Reihe von Java-Beispielanwendungen integrieren, die Daten zur Stream-Verarbeitung an Apache Kafka und von dort weiterleiten Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verstehen Sie die Funktionen und Vorteile von Kafka Streams gegenüber anderen Frameworks zur Stream-Verarbeitung Verarbeiten Sie Daten direkt in einem Kafka-Cluster Schreiben Sie eine Java- oder Scala-Anwendung oder einen Microservice, der in Kafka und Kafka Streams integriert ist Schreiben Sie prägnanten Code, der eingegebene Kafka-Themen in Kafka-Ausgabethemen umwandelt Erstellen, verpacken und implementieren Sie die Anwendung Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Anmerkungen Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

In diesem instruierten Live-Training lernen die Teilnehmer die Kernkonzepte von MapR Stream Architecture kennen, während sie eine Echtzeit-Streaming-Anwendung entwickeln Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Producer- und Consumer-Anwendungen für Echtzeit-Stream-Datenverarbeitung zu erstellen Publikum Entwickler Administratoren Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Hinweis Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

Apache NiFi (Hortonworks DataFlow) ist eine Echtzeit-integrierte Datenlogistik und eine einfache Ereignisverarbeitungsplattform, die das Verschieben, Verfolgen und Automatisieren von Daten zwischen Systemen ermöglicht Es ist mit Flow-basierten Programmierung geschrieben und bietet eine webbasierte Benutzeroberfläche, um Datenflüsse in Echtzeit zu verwalten In diesem instruierten Live-Training lernen die Teilnehmer, wie Apache NiFi in einer Live-Laborumgebung bereitgestellt und verwaltet wird Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie Apachi NiFi Quelle, Transformation und Verwaltung von Daten aus verschiedenen verteilten Datenquellen, einschließlich Datenbanken und Big Data Seen Datenflüsse automatisieren Aktiviere Streaming-Analysen Wenden Sie verschiedene Ansätze für die Datenaufnahme an Transformieren Sie Big Data und Business Insights Publikum Systemadministratoren Dateningenieure Entwickler DevOps Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache NiFi (Hortonworks DataFlow) ist eine Echtzeit-integrierte Datenlogistik und eine einfache Ereignisverarbeitungsplattform, die das Verschieben, Verfolgen und Automatisieren von Daten zwischen Systemen ermöglicht Es ist mit Flow-basierten Programmierung geschrieben und bietet eine webbasierte Benutzeroberfläche, um Datenflüsse in Echtzeit zu verwalten In diesem instruierten Live-Training erlernen die Teilnehmer die Grundlagen der flowbasierten Programmierung, während sie eine Reihe von Demo-Erweiterungen, Komponenten und Prozessoren mit Apache NiFi entwickeln Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verstehen Sie die Architektur- und Datenflusskonzepte von NiFi Entwickeln Sie Erweiterungen mit NiFi und Drittanbieter-APIs Entwickeln Sie Ihren eigenen Apache Nifi-Prozessor Erfassen und Verarbeiten von Echtzeitdaten aus unterschiedlichen und ungewöhnlichen Dateiformaten und Datenquellen Publikum Entwickler Dateningenieure Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Samza ist ein OpenSource-Echtzeit-asynchrones Berechnungs-Framework für die Stream-Verarbeitung Es verwendet Apache Kafka für Messaging und Apache Hadoop YARN für Fehlertoleranz, Prozessorisolierung, Sicherheit und Ressourcenverwaltung Dieses instruierte Live-Training stellt die Prinzipien vor, die hinter Messaging-Systemen und verteilter Stream-Verarbeitung stehen, während die Teilnehmer durch die Erstellung eines Samzabased-Beispielprojekts und der Jobausführung geführt werden Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verwenden Sie Samza, um den Code zu vereinfachen, der zum Erstellen und Verwenden von Nachrichten benötigt wird Entkoppeln Sie die Handhabung von Nachrichten aus einer Anwendung Verwenden Sie Samza, um die asynchrone Echtzeitberechnung zu implementieren Verwenden Sie die Stream-Verarbeitung, um eine höhere Abstraktionsebene als Messaging-Systeme bereitzustellen Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Storm ist eine verteilte Echtzeit-Berechnungs-Engine, die Echtzeit-Business Intelligence ermöglicht Dies wird dadurch erreicht, dass es Anwendungen ermöglicht, unbegrenzte Datenströme zuverlässig zu verarbeiten (auch Stream-Verarbeitung genannt) "Storm verarbeitet Echtzeit, was Hadoop für die Stapelverarbeitung ist!" In diesem instruierten Live-Training lernen die Teilnehmer, wie Apache Storm installiert und konfiguriert wird, und entwickeln und implementieren dann eine Apache Storm-Anwendung für die Verarbeitung großer Datenmengen in Echtzeit Einige der Themen in diesem Training gehören: Apache Storm im Kontext von Hadoop Mit unbegrenzten Daten arbeiten Kontinuierliche Berechnung Echtzeit-Analyse Verteilte RPC- und ETL-Verarbeitung Fordern Sie diesen Kurs jetzt an! Publikum Software- und ETL-Entwickler Mainframe-Profis Datenwissenschaftler Big Data-Analysten Hadoop-Profis Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Tigon ist ein Open-Source-, Echtzeit-, Low-Latency-, High-Throughput-, natives YARN-, Stream-Processing-Framework, das auf HDFS und HBase für Persistenz sitzt Tigon-Anwendungen adressieren Anwendungsfälle wie Erkennung und Analyse von Netzwerkangriffen, Social-Media-Marktanalysen, Standortanalysen und Echtzeitempfehlungen für Benutzer In diesem instruierten Live-Training wird der Ansatz von Tigon zur Mischung von Echtzeit- und Batchverarbeitung vorgestellt, während die Teilnehmer durch die Erstellung einer Beispielanwendung geführt werden Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Erstellen Sie leistungsfähige Stream-Processing-Anwendungen für die Verarbeitung großer Datenmengen Verarbeiten Sie Stream-Quellen wie Twitter- und Webserver-Logs Verwenden Sie Tigon zum schnellen Verbinden, Filtern und Aggregieren von Streams Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .