Schulungsübersicht
Einführung
Scala Programmieren in der Vertiefung Überprüfung
- Syntax und Struktur
- Flusskontrolle und Funktionen
Spark Interna
- Widerstandsfähige verteilte Datensätze (RDD)
- Spark-Skript zum Graphen zum Cluster
Überblick über Spark Streaming
- Architektur des Streaming
- Intervalle beim Streaming
- Fehlertoleranz
Vorbereiten der Entwicklungsumgebung
- Installieren und Konfigurieren von Apache Spark
- Installieren und Konfigurieren der Scala IDE
- Installieren und Konfigurieren von JDK
Spark Streaming Anfänger bis Fortgeschrittene
- Arbeiten mit Schlüssel/Wert-RDD's
- Filtern von RDD's
- Verbessern von Spark-Skripten mit regulären Ausdrücken
- Gemeinsame Nutzung von Daten in einem Cluster
- Arbeiten mit Netzwerkdatensätzen
- Implementieren von BFS-Algorithmen
- Erstellen von Spark-Treiberskripten
- Verfolgung in Echtzeit mit Skripten
- Schreiben von kontinuierlichen Anwendungen
- Lineare Regression durch Streaming
- Verwendung der Spark Machine Learning-Bibliothek
Spark und Cluster
- Bündelung von Abhängigkeiten und Spark-Skripten mit dem SBT-Tool
- Verwendung von EMR zur Veranschaulichung von Clustern
- Optimieren durch Partitionierung von RDD's
- Verwendung von Spark-Protokollen
Integration in Spark Streaming
- Integration von Apache Kafka und Arbeit mit Kafka-Themen
- Integration von Apache Fume und Arbeit mit Pull-/Push-basierten Flume-Konfigurationen
- Schreiben einer benutzerdefinierten Empfängerklasse
- Integration von Cassandra und Bereitstellung von Daten als Echtzeitdienste
In Produktion
- Paketierung einer Anwendung und deren Ausführung mit Spark-Submit
- Fehlerbehebung, Tuning und Debugging von Spark-Aufträgen und -Clustern
Zusammenfassung und Schlussfolgerung
Voraussetzungen
- Programming und Skripterfahrung
Publikum
- Software-Ingenieure
Erfahrungsberichte (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Viele praktische Beispiele, verschiedene Wege, das gleiche Problem anzugehen, und manchmal nicht so offensichtliche Tricks, wie man die aktuelle Lösung verbessern kann
Rafał - Nordea
Kurs - Apache Spark MLlib
Maschinelle Übersetzung
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Kurs - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurs - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.