Stream processing Schulungen

Apache Ignite ist eine Computer-Plattform im Speicher, die zwischen der Anwendung und der Datenschicht sitzt, um Geschwindigkeit, Skala und Verfügbarkeit zu verbessern.

In diesem von Ausbildern geleiteten Live-Training lernen die Teilnehmer die Prinzipien hinter einem dauerhaften und reinen In-Memory-Speicher kennen, wenn sie ein Proben-in-Memory-Computing-Projekt erstellen

.

Am Ende dieses Trainings können die Teilnehmer:

- Verwenden Sie Ignite für den Speicher, die Hartnäckigkeit auf der Festplatte sowie eine rein verteilte In-Memory-Datenbank
. - Durchhaltevermögen erreichen
, ohne Daten wieder in eine relationale Datenbank zu synchronisieren. - Verwenden Sie Ignite, um SQL und verteilte Joins auszuführen.
- die Leistung verbessern, indem die Daten näher an die CPU rücken, indem RAM als Speicher verwendet wird
- Spread-Daten über einen Cluster,
um eine horizontale Skalierbarkeit zu erreichen. - mit RDBMS, NoSQL, Hadoop und maschinellen Lernprozessoren
integrieren.

Format der

- interaktiven Vortrag und Diskussion
. - Viele Übungen und Übungen
. - Hands-on-Umsetzung in einem Live-Labor-Umfeld
.

- Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um
zu arrangieren.

Apache Apex ist eine YARNnative-Plattform, die Stream- und Batch-Verarbeitung vereint Es verarbeitet große Datenbewegungen in einer Weise, die skalierbar, performant, fehlertolerant, zustandsorientiert, sicher, verteilt und einfach zu bedienen ist Dieses integrierte Live-Training stellt Apache Apex's vereinheitlichte Stream-Processing-Architektur vor und führt die Teilnehmer durch die Erstellung einer verteilten Anwendung mit Apex auf Hadoop Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verständnis von Datenverarbeitungs-Pipeline-Konzepten wie Konnektoren für Quellen und Senken, gemeinsame Datentransformationen usw Erstellen, skalieren und optimieren Sie eine Apex-Anwendung Verarbeiten Sie Echtzeitdatenströme zuverlässig und mit minimaler Latenz Verwenden Sie Apex Core und die Apex Malhar-Bibliothek, um eine schnelle Anwendungsentwicklung zu ermöglichen Verwenden Sie die Apex-API, um vorhandenen Java-Code zu schreiben und wiederzuverwenden Integrieren Sie Apex als Verarbeitungsmodul in andere Anwendungen Optimieren, testen und skalieren Sie Apex-Anwendungen Publikum Entwickler Unternehmensarchitekten Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Beam ist ein Open-Source-Programm zur einheitlichen Definition und Ausführung von parallelen Datenverarbeitungspipelines Seine Stärke liegt in der Fähigkeit, sowohl Batch- als auch Streaming-Pipelines auszuführen, wobei die Ausführung durch eines der von Beam unterstützten verteilten Verarbeitungs-Backends ausgeführt wird: Apache Apex, Apache Fink, Apache Spark und Google Cloud Dataflow Apache Beam ist nützlich für ETL-Aufgaben (Extrahieren, Transformieren und Laden), z B zum Verschieben von Daten zwischen verschiedenen Speichermedien und Datenquellen, zum Umwandeln von Daten in ein wünschenswertes Format und zum Laden von Daten in ein neues System In diesem instruierten Live-Training (vor Ort oder remote) lernen die Teilnehmer, wie sie die Apache Beam SDKs in einer Java- oder Python-Anwendung implementieren, die eine Datenverarbeitungspipeline zum Zerlegen eines großen Datensatzes in kleinere Blöcke für die unabhängige, parallele Verarbeitung definiert Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie Apache Beam Verwenden Sie ein einzelnes Programmiermodell, um sowohl die Batch- als auch die Stream-Verarbeitung auszuführen, indem Sie ihre Java- oder Python-Anwendung verwenden Führen Sie Pipelines über mehrere Umgebungen hinweg aus Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Hinweis Dieser Kurs wird in Zukunft Scala zur Verfügung stehen Bitte kontaktieren Sie uns, um zu vereinbaren .

Dieses von Lehrern geleitete Live-Training (vor Ort oder Remote) richtet sich an Ingenieure, die Confluent (eine Distribution von Kafka) nutzen möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten.

Am Ende dieses Trainings können die Teilnehmer:

- installieren und konfluent Platform konfigurieren.
- verwenden Sie die Management-Tools und-Dienste von Confluent, um Kafka einfacher zu betreiben.
- die eingehenden Streamdaten speichern und verarbeiten.
- Kafka Cluster optimieren und verwalten.
- Datenströme sichern.

Format der

- interaktiven Vortrag und Diskussion
. - Viele Übungen und Übungen
. - Hands-on-Umsetzung in einem Live-Labor-Umfeld
.

- Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
- Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um
zu arrangieren.

Apache Flink ist ein Open-Source-Framework für die skalierbare Stream-und Batch-Datenverarbeitung

.

Dieses von Lehrern geleitete Live-Training stellt die Prinzipien und Ansätze hinter der verteilten Stream-und Batch-Datenverarbeitung vor und geht die Teilnehmer durch die Erstellung einer Echtzeit-Daten-Streaming-Anwendung in Apache Flink

.

Am Ende dieses Trainings können die Teilnehmer:

- Eine Umgebung für die Entwicklung von Datenanalyse-Anwendungen
einrichten. -
, die Flink-basierte, fehlertolerante Datenstreaming-Anwendungen. - unterschiedliche Arbeitsbelastung
verwalten. - mit Flink ML. erweiterte Analytik
- Setzen Sie einen Multi-Knoden-Flink-Cluster
. - die Leistung messen und optimieren
. -
die Flink mit verschiedenen Big-Data-Systemen integrieren. - Vergleichen Sie die Flink-Fähigkeiten mit denen anderer
Big Data Processing.

Format des Kurses

- Teil-Vortrag, Teilbesprechung, Übungen und schwere Hands-on-Praxis

Die Stream-Verarbeitung bezieht sich auf die Echtzeitverarbeitung von "Daten in Bewegung", dh auf Berechnungen von Daten während des Empfangs Diese Daten werden als kontinuierliche Datenströme aus Datenquellen wie Sensorereignisse, Website-Benutzeraktivitäten, Finanzgeschäfte, Kreditkarten-Swipes, Klick-Streams usw gelesen Stream-Processing-Frameworks können große Mengen eingehender Daten lesen und liefern nahezu unmittelbar wertvolle Informationen In diesem instruierten Live-Training (vor Ort oder Remote) lernen die Teilnehmer, wie sie verschiedene Stream-Processing-Frameworks mit bestehenden Big-Data-Storage-Systemen und zugehörigen Software-Anwendungen und Microservices einrichten und integrieren können Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie verschiedene Stream Processing-Frameworks, z B Spark Streaming und Kafka Streaming Verstehen und wählen Sie das am besten geeignete Framework für den Job aus Prozess von Daten kontinuierlich, gleichzeitig und in einer Aufzeichnung durch Aufzeichnungsmodus Integration von Stream-Processing-Lösungen in bestehende Datenbanken, Data Warehouses, Data Lakes usw Integration der am besten geeigneten Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices Publikum Entwickler Software-Architekten Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Anmerkungen Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

Kafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Microservices, deren Daten an ein Kafka-Messaging-System übergeben werden Traditionell hat sich Apache Kafka auf Apache Spark oder Apache Storm verlassen, um Daten zwischen Nachrichtenproduzenten und Konsumenten zu verarbeiten Durch den Aufruf der Kafka Streams API aus einer Anwendung heraus können Daten direkt in Kafka verarbeitet werden, ohne dass die Daten zur Verarbeitung an einen separaten Cluster gesendet werden müssen In diesem instruierten Live-Training lernen die Teilnehmer, wie sie Kafka Streams in eine Reihe von Java-Beispielanwendungen integrieren, die Daten zur Stream-Verarbeitung an Apache Kafka und von dort weiterleiten Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verstehen Sie die Funktionen und Vorteile von Kafka Streams gegenüber anderen Frameworks zur Stream-Verarbeitung Verarbeiten Sie Daten direkt in einem Kafka-Cluster Schreiben Sie eine Java- oder Scala-Anwendung oder einen Microservice, der in Kafka und Kafka Streams integriert ist Schreiben Sie prägnanten Code, der eingegebene Kafka-Themen in Kafka-Ausgabethemen umwandelt Erstellen, verpacken und implementieren Sie die Anwendung Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Anmerkungen Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

In diesem instruierten Live-Training lernen die Teilnehmer die Kernkonzepte von MapR Stream Architecture kennen, während sie eine Echtzeit-Streaming-Anwendung entwickeln Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Producer- und Consumer-Anwendungen für Echtzeit-Stream-Datenverarbeitung zu erstellen Publikum Entwickler Administratoren Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Hinweis Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um zu vereinbaren .

Apache NiFi (Hortonworks DataFlow) ist eine Echtzeit-integrierte Datenlogistik und eine einfache Ereignisverarbeitungsplattform, die das Verschieben, Verfolgen und Automatisieren von Daten zwischen Systemen ermöglicht Es ist mit Flow-basierten Programmierung geschrieben und bietet eine webbasierte Benutzeroberfläche, um Datenflüsse in Echtzeit zu verwalten In diesem instruierten Live-Training lernen die Teilnehmer, wie Apache NiFi in einer Live-Laborumgebung bereitgestellt und verwaltet wird Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie Apachi NiFi Quelle, Transformation und Verwaltung von Daten aus verschiedenen verteilten Datenquellen, einschließlich Datenbanken und Big Data Seen Datenflüsse automatisieren Aktiviere Streaming-Analysen Wenden Sie verschiedene Ansätze für die Datenaufnahme an Transformieren Sie Big Data und Business Insights Publikum Systemadministratoren Dateningenieure Entwickler DevOps Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache NiFi (Hortonworks DataFlow) ist eine in Echtzeit integrierte Datenlogistik und einfache Ereignisverarbeitungsplattform, die das Bewegen, Tracking und die Automatisierung von Daten zwischen den Systemen ermöglicht. Es wird mit einer flow-basierten Programmierung geschrieben und bietet eine webbasierte Benutzeroberfläche, um Dataflows in Echtzeit zu verwalten.

In diesem von Ausbildern geleiteten Live-Training lernen die Teilnehmer die Grundlagen der Flow-basierten Programmierung kennen, wenn sie eine Reihe von Demo-Erweiterungen, Komponenten und Prozessoren mit Apache NiFi entwickeln

.

Am Ende dieses Trainings können die Teilnehmer:

- Verstehen Sie die Architektur und die Dataflow-Konzepte von NiFi & #39;.
- Erweiterungen mit NiFi und Drittanbieter-APIs
. - Custom entwickeln ihren eigenen Apache Nifi-Prozessor.
- Ingest und verarbeiten
Echtzeitdaten aus unterschiedlichen und ungewöhnlichen Dateiformaten und Datenquellen.

Format der

- interaktiven Vortrag und Diskussion
. - Viele Übungen und Übungen
. - Hands-on-Umsetzung in einem Live-Labor-Umfeld
.

- Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um
zu arrangieren.

Apache Samza ist ein OpenSource-Echtzeit-asynchrones Berechnungs-Framework für die Stream-Verarbeitung Es verwendet Apache Kafka für Messaging und Apache Hadoop YARN für Fehlertoleranz, Prozessorisolierung, Sicherheit und Ressourcenverwaltung Dieses instruierte Live-Training stellt die Prinzipien vor, die hinter Messaging-Systemen und verteilter Stream-Verarbeitung stehen, während die Teilnehmer durch die Erstellung eines Samzabased-Beispielprojekts und der Jobausführung geführt werden Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verwenden Sie Samza, um den Code zu vereinfachen, der zum Erstellen und Verwenden von Nachrichten benötigt wird Entkoppeln Sie die Handhabung von Nachrichten aus einer Anwendung Verwenden Sie Samza, um die asynchrone Echtzeitberechnung zu implementieren Verwenden Sie die Stream-Verarbeitung, um eine höhere Abstraktionsebene als Messaging-Systeme bereitzustellen Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Storm ist eine verteilte Echtzeit-Berechnungs-Engine, die Echtzeit-Business Intelligence ermöglicht Dies wird dadurch erreicht, dass es Anwendungen ermöglicht, unbegrenzte Datenströme zuverlässig zu verarbeiten (auch Stream-Verarbeitung genannt) "Storm verarbeitet Echtzeit, was Hadoop für die Stapelverarbeitung ist!" In diesem instruierten Live-Training lernen die Teilnehmer, wie Apache Storm installiert und konfiguriert wird, und entwickeln und implementieren dann eine Apache Storm-Anwendung für die Verarbeitung großer Datenmengen in Echtzeit Einige der Themen in diesem Training gehören: Apache Storm im Kontext von Hadoop Mit unbegrenzten Daten arbeiten Kontinuierliche Berechnung Echtzeit-Analyse Verteilte RPC- und ETL-Verarbeitung Fordern Sie diesen Kurs jetzt an! Publikum Software- und ETL-Entwickler Mainframe-Profis Datenwissenschaftler Big Data-Analysten Hadoop-Profis Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Tigon ist ein Open-Source-, Echtzeit-, Low-Latency-, High-Throughput-, natives YARN-, Stream-Processing-Framework, das auf HDFS und HBase für Persistenz sitzt Tigon-Anwendungen adressieren Anwendungsfälle wie Erkennung und Analyse von Netzwerkangriffen, Social-Media-Marktanalysen, Standortanalysen und Echtzeitempfehlungen für Benutzer In diesem instruierten Live-Training wird der Ansatz von Tigon zur Mischung von Echtzeit- und Batchverarbeitung vorgestellt, während die Teilnehmer durch die Erstellung einer Beispielanwendung geführt werden Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Erstellen Sie leistungsfähige Stream-Processing-Anwendungen für die Verarbeitung großer Datenmengen Verarbeiten Sie Stream-Quellen wie Twitter- und Webserver-Logs Verwenden Sie Tigon zum schnellen Verbinden, Filtern und Aggregieren von Streams Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .