Online PySpark Schulung in Schweiz

In diesem dozentengeführten Live-Training in Schweiz lernen die Teilnehmer, wie sie Python und Spark zusammen nutzen, um Big Data zu analysieren, und wenden dies in praktischen Übungen an.

Nach Abschluss dieses Trainings sind die Teilnehmer in der Lage:

• Spark in Kombination mit Python zur Analyse von Big Data einzusetzen.
• An Übungen zu arbeiten, die reale Anwendungsfälle simulieren.
• Unterschiedliche Tools und Techniken für die Big-Data-Analyse mit PySpark anzuwenden.

Dieser instructor-led-Livetrainingskurs (online oder vor Ort) richtet sich an Data Engineers, Data Analysts und andere Data Professionals, die Databricks und PySpark nutzen möchten, um skalierbare Datenpipelines zu erstellen und bestehende SQL-Workflows zu migrieren.

Dieses Training bietet eine praktische Einführung in den Aufbau skalierbarer Datenverarbeitung und maschineller Lernworkflows mit PySpark. Die Teilnehmenden erfahren, wie Apache Spark in modernen Big-Data-Ökosystemen funktioniert und wie grosse Datenmengen effizient anhand der Prinzipien des verteilten Rechnens verarbeitet werden.

Dieser dreitägige Praxis-Kurs konzentriert sich auf den Aufbau und die Optimierung effizienter Datenverarbeitungs-Workloads unter Verwendung von PySpark, Pandas und Polars in Kubernetes-basierten Umgebungen.

Die Teilnehmer entwickeln ein praktisches Verständnis dafür, wie Spark-Anwendungen auf Kubernetes ausgeführt werden und wie konfiguratorische Entscheidungen auf Anwendungsebene die Leistung, Skalierbarkeit, Ressourcennutzung und die Kosten beeinflussen. Der Kurs behandelt zentrale Optimierungsbereiche, darunter die Dimensionierung von Executors, die Speicherzuweisung, dynamische Zuweisung, Partitionierungsstrategien, Shuffle-Verhalten, das Problem kleiner Dateien und die effiziente Verarbeitung von Parquet.

Der Kurs widmet sich auch häufigen Herausforderungen bei der Arbeit mit Pandas, wie Speichergrenzen und Out-of-Memory-Fehlern, und stellt Polars als hochperformante Alternative für bestimmte Datenverarbeitungs-Workloads vor. In praxisnahen Übungen diagnostizieren die Teilnehmer Leistungs- und Speicherprobleme, vergleichen verschiedene Konfigurationsstrategien und wenden Optimierungstechniken auf realistische ETL- und Machine-Learning-Szenarien an.

Schwerpunkt des Kurses ist durchgehend das praktische Entscheidungsfinden: Das Verständnis, wie man Engpässe identifiziert, das geeignete Werkzeug auswählt, Spark effizient konfiguriert und die Balance zwischen Leistung und Infrastruktur-Ressourcennutzung sowie Kosten hält.