Apache Spark in der Cloud Schulung

Dieses live dozierte Training in Schweiz (online oder vor Ort) richtet sich an Datenwissenschaftler und Ingenieurinnen sowie Ingenieure auf dem mittleren Niveau, die Google Colab und Apache Spark für die Big-Data-Verarbeitung und -Analyse nutzen möchten.

Am Ende dieses Trainings können Teilnehmende:

• Eine Big-Data-Umgebung mit Google Colab und Spark einrichten.
• Grosse Datensätze effizient mit Apache Spark verarbeiten und analysieren.
• Big Data in einer kollaborativen Umgebung visualisieren.
• Apache Spark mit Cloud-basierten Tools integrieren.

Dieser instructor-led-Livetrainingskurs (online oder vor Ort) richtet sich an Data Engineers, Data Analysts und andere Data Professionals, die Databricks und PySpark nutzen möchten, um skalierbare Datenpipelines zu erstellen und bestehende SQL-Workflows zu migrieren.

Dieses Training bietet eine praktische Einführung in den Aufbau skalierbarer Datenverarbeitung und maschineller Lernworkflows mit PySpark. Die Teilnehmenden erfahren, wie Apache Spark in modernen Big-Data-Ökosystemen funktioniert und wie grosse Datenmengen effizient anhand der Prinzipien des verteilten Rechnens verarbeitet werden.

Dieser dreitägige Praxis-Kurs konzentriert sich auf den Aufbau und die Optimierung effizienter Datenverarbeitungs-Workloads unter Verwendung von PySpark, Pandas und Polars in Kubernetes-basierten Umgebungen.

Die Teilnehmer entwickeln ein praktisches Verständnis dafür, wie Spark-Anwendungen auf Kubernetes ausgeführt werden und wie konfiguratorische Entscheidungen auf Anwendungsebene die Leistung, Skalierbarkeit, Ressourcennutzung und die Kosten beeinflussen. Der Kurs behandelt zentrale Optimierungsbereiche, darunter die Dimensionierung von Executors, die Speicherzuweisung, dynamische Zuweisung, Partitionierungsstrategien, Shuffle-Verhalten, das Problem kleiner Dateien und die effiziente Verarbeitung von Parquet.

Der Kurs widmet sich auch häufigen Herausforderungen bei der Arbeit mit Pandas, wie Speichergrenzen und Out-of-Memory-Fehlern, und stellt Polars als hochperformante Alternative für bestimmte Datenverarbeitungs-Workloads vor. In praxisnahen Übungen diagnostizieren die Teilnehmer Leistungs- und Speicherprobleme, vergleichen verschiedene Konfigurationsstrategien und wenden Optimierungstechniken auf realistische ETL- und Machine-Learning-Szenarien an.

Schwerpunkt des Kurses ist durchgehend das praktische Entscheidungsfinden: Das Verständnis, wie man Engpässe identifiziert, das geeignete Werkzeug auswählt, Spark effizient konfiguriert und die Balance zwischen Leistung und Infrastruktur-Ressourcennutzung sowie Kosten hält.

Diese von Instrukturen geleitete, lebendige Schulung in Schweiz (online oder vor Ort) richtet sich an Ingenieurinnen und Ingenieure, die ein Apache Spark-System zur Verarbeitung sehr grosser Datenmengen einrichten und bereitstellen möchten.

Am Ende dieser Schulung werden die Teilnehmenden in der Lage sein:

• Apache Spark zu installieren und zu konfigurieren.
• Sehr grosse Datenmengen schnell zu verarbeiten und zu analysieren.
• Die Unterschiede zwischen Apache Spark und Hadoop MapReduce zu verstehen und zu wissen, wann welches Tool eingesetzt werden sollte.
• Apache Spark mit anderen Tools für maschinelles Lernen zu integrieren.

Diese von einem Dozenten gelebte Live-Schulung zu Schweiz (online oder vor Ort) richtet sich an Systemadministratoren mit Grund- bis中级 Kenntnissen, die Spark-Cluster bereitstellen, verwalten und optimieren möchten.

Am Ende dieser Schulung sind die Teilnehmer in der Lage:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen umzusetzen und eine hohe Verfügbarkeit sicherzustellen.
• Häufige Spark-Probleme zu debuggen und zu beheben.

In diesem dozentengeführten Live-Training in Schweiz lernen die Teilnehmer, wie sie Python und Spark zusammen nutzen, um Big Data zu analysieren, und wenden dies in praktischen Übungen an.

Nach Abschluss dieses Trainings sind die Teilnehmer in der Lage:

• Spark in Kombination mit Python zur Analyse von Big Data einzusetzen.
• An Übungen zu arbeiten, die reale Anwendungsfälle simulieren.
• Unterschiedliche Tools und Techniken für die Big-Data-Analyse mit PySpark anzuwenden.

Dieser von Instruktoren geleitete Live-Kurs in Schweiz (online oder vor Ort) richtet sich an Entwicklerinnen und Entwickler, die Spark, Hadoop und Python nutzen und integrieren möchten, um grosse und komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses sind die Teilnehmenden in der Lage:

• Die notwendigen Umgebungen einzurichten, um mit Spark, Hadoop und Python mit der Verarbeitung von Big Data zu beginnen.
• Die Funktionen, Kernkomponenten und die Architektur von Spark und Hadoop zu verstehen.
• Zu lernen, wie Spark, Hadoop und Python für die Big-Data-Verarbeitung integriert werden können.
• Die Tools im Spark-Ökosystem zu erkunden (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka und Flume).
• Kooperative Filter-Empfehlungssysteme ähnlich wie bei Netflix, YouTube, Amazon, Spotify und Google zu entwickeln.
• Apache Mahout zur Skalierung von Machine-Learning-Algorithmen einzusetzen.

Diese Live-Schulung mit Dozent in Schweiz deckt die Stratio-Plattform ab, mit Fokus auf die Module Rocket und Intelligence mit PySpark. Die Teilnehmer werden die Datenerfassung, Transformation und erweiterte Analyse beherrschen und praktische Fähigkeiten in Schleifen, UDFs und unternehmensweiten Datenworkflows erlangen.