Python, Spark und Hadoop für Big Data Schulung

Dieses live dozierte Training in Schweiz (online oder vor Ort) richtet sich an Datenwissenschaftler und Ingenieurinnen sowie Ingenieure auf dem mittleren Niveau, die Google Colab und Apache Spark für die Big-Data-Verarbeitung und -Analyse nutzen möchten.

Am Ende dieses Trainings können Teilnehmende:

• Eine Big-Data-Umgebung mit Google Colab und Spark einrichten.
• Grosse Datensätze effizient mit Apache Spark verarbeiten und analysieren.
• Big Data in einer kollaborativen Umgebung visualisieren.
• Apache Spark mit Cloud-basierten Tools integrieren.

Apache NiFi ist eine Open-Source-, datenflussbasierte Datenintegrations- und Ereignisverarbeitungsplattform. Sie ermöglicht die automatisierte Echtzeit-Datenweiterleitung, -transformation und Systemvermittlung zwischen unterschiedlichen Systemen mit einer webbasierten Benutzeroberfläche und feingranularer Steuerung.

Diese unter Anleitung durchgeführte Live-Schulung (vor Ort oder remote) richtet sich an Administratoren und Ingenieure auf mittlerem Niveau, die NiFi-Datenflüsse in Produktionsumgebungen bereitstellen, verwalten, sichern und optimieren möchten.

Nach Abschluss dieser Schulung werden die Teilnehmer:

• Apache-NiFi-Cluster installieren, konfigurieren und warten können.
• Datenflüsse aus verschiedenen Quellen und Senken entwerfen und verwalten können.
• Automatisierungs-, Weiterleitungs- und Transformationslogiken für Flüsse implementieren können.
• Die Leistung optimieren, den Betrieb überwachen und Probleme beheben können.

Format des Kurses

• Interaktive Vorträge mit Diskussionen über Realarchitekturen.
• Praktische Übungen: Aufbau, Bereitstellung und Verwaltung von Datenflüssen.
• Szenariobasierte Übungen in einer Live-Lab-Umgebung.

Optionen zur Kursanpassung

• Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zwecks Vereinbarung.

Dieses Training bietet eine praktische Einführung in den Aufbau skalierbarer Datenverarbeitung und maschineller Lernworkflows mit PySpark. Die Teilnehmenden erfahren, wie Apache Spark in modernen Big-Data-Ökosystemen funktioniert und wie grosse Datenmengen effizient anhand der Prinzipien des verteilten Rechnens verarbeitet werden.

Diese von Instrukturen geleitete, lebendige Schulung in Schweiz (online oder vor Ort) richtet sich an Ingenieurinnen und Ingenieure, die ein Apache Spark-System zur Verarbeitung sehr grosser Datenmengen einrichten und bereitstellen möchten.

Am Ende dieser Schulung werden die Teilnehmenden in der Lage sein:

• Apache Spark zu installieren und zu konfigurieren.
• Sehr grosse Datenmengen schnell zu verarbeiten und zu analysieren.
• Die Unterschiede zwischen Apache Spark und Hadoop MapReduce zu verstehen und zu wissen, wann welches Tool eingesetzt werden sollte.
• Apache Spark mit anderen Tools für maschinelles Lernen zu integrieren.

Diese vom Instructor geführte Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Systemadministratoren mit Grundkenntnissen bis hin zu fortgeschrittenem Niveau, die Spark-Cluster bereitstellen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmenden in der Lage sein:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Ressourcen des Clusters zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clatern zu optimieren.
• Sicherheitsmassnahmen umzusetzen und hohe Verfügbarkeit sicherzustellen.
• Häufige Spark-Probleme zu debuggen und zu beheben.

Die Lernkurve von Apache Spark steigt am Anfang langsam, es ist viel Aufwand erforderlich, um die ersten Ergebnisse zu erzielen. Dieser Kurs zielt darauf ab, diesen anfänglichen schweren Teil schneller zu überwinden. Nach Abschluss des Kurses werden die Teilnehmer die Grundlagen von Apache Spark verstehen, sie können RDDs klar von DataFrames unterscheiden, sie lernen die Python- und Scala-APIs kennen, sie verstehen, wie Executors und Aufgaben funktionieren, und mehr. Außerdem legt dieser Kurs unter Einhaltung der Best Practices einen starken Fokus auf Cloud-Bereitstellungen sowie auf Databricks und AWS. Die Studierenden werden auch die Unterschiede zwischen AWS EMR und AWS Glue, einem der neuesten Spark-Dienste von AWS, nachvollziehen.  

ZIELGRUPPE:

Daten-Engineers, DevOps-Ingenieure, Data Scientists

In diesem instruktionsgeführten Live-Training in Schweiz lernen die Teilnehmer, wie sie Python und Spark gemeinsam nutzen können, um Big Data zu analysieren, während sie praktische Übungen durchführen.

Bis zum Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Spark mit Python zur Analyse von Big Data einzusetzen.
• Übungen durchzuführen, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark zu nutzen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI und Governance in einer einzigen Lösung integriert. Seine Rocket- und Intelligence-Module ermöglichen eine schnelle Datenerkundung, Transformation und erweiterte Analysen in Unternehmensumgebungen.

Diese instruktorgeführte Live-Schulung (online oder vor Ort) richtet sich an Datenprofessionals mit mittlerem Erfahrungsgrad, die die Rocket- und Intelligence-Module von Stratio effektiv mit PySpark nutzen möchten, wobei der Fokus auf Schleifenstrukturen, benutzerdefinierten Funktionen und komplexer Datenlogik liegt.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• In der Stratio-Plattform zu navigieren und innerhalb der Rocket- und Intelligence-Module zu arbeiten.
• PySpark im Kontext von Datenaufnahme, Transformation und Analyse einzusetzen.
• Schleifen und bedingte Logik zu verwenden, um Datenworkflows und Feature-Engineering-Aufgaben zu steuern.
• Benutzerdefinierte Funktionen (UDFs) für wiederwendbare Datenoperationen in PySpark zu erstellen und zu verwalten.

Kursformat

• Interaktiver Vortrag und Diskussion.
• Umfangreiche Übungen und Praxis.
• Praktische Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Anpassung des Kurses

• Um eine kundenspezifische Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu vereinbaren.