Schulungsübersicht
Einführung
Verständnis von Big Data
Überblick über Spark
Überblick über Python
Überblick über PySpark
- Verteilung von Daten mittels Resilient Distributed Datasets-Framework
- Verteilung von Berechnungen mittels Spark-API-Operatoren
Einrichtung von Python mit Spark
Einrichtung von PySpark
Nutzung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichtung von Databricks
Einrichten des AWS EMR-Clusters
Lernen der Grundlagen der Python-Programmierung
- Erste Schritte mit Python
- Nutzung des Jupyter Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeiten mit Listen
- Anwenden von if-Anweisungen
- Eingabe von Benutzereingaben
- Arbeiten mit while-Schleifen
- Funktionen implementieren
- Klassen verwenden
- Arbeiten mit Dateien und Ausnahmen
- Projektarbeit, Daten und APIs
Lernen der Grundlagen von Spark DataFrames
- Erste Schritte mit Spark DataFrames
- Grundlegende Operationen mit Spark implementieren
- Anwenden von Groupby- und Aggregationsoperationen
- Arbeiten mit Zeitstempeln und Daten
Durchführung einer Spark DataFrame-Projektübung
Verständnis des maschinellen Lernens mit MLlib
Arbeiten mit MLlib, Spark und Python für maschinelles Lernen
Verständnis von Regressionen
- Lernen der linearen Regressionstheorie
- Eine Codeimplementierung zur Bewertung einer Regression schreiben
- Durchführen einer Beispielübung zur linearen Regression
- Lernen der logistischen Regressionstheorie
- Implementieren eines Codes für die logistische Regression
- Durchführen einer Beispielübung zur logistischen Regression
Verständnis von Random Forests und Entscheidungsbäumen
- Lernen der Baummethoden-Theorie
- Implementieren von Code für Entscheidungsbaum und Random Forest
- Durchführen einer Beispielübung zur Klassifikation mit Random Forest
Arbeiten mit K-Means-Clustering
- Verständnis der Theorie des K-Means-Clustering
- Implementieren eines Codes für K-Means-Clustering
- Durchführen einer Beispielübung zum Clustering
Arbeiten mit Empfehlungssystemen
Natürliche Sprachverarbeitung implementieren
- Verständnis der natürlichen Sprachverarbeitung (NLP)
- Überblick über NLP-Tools
- Durchführen einer Beispielübung zur NLP
Streaming mit Spark in Python
- Überblick über Streaming mit Spark
- Beispiel-Spark-Streaming-Übung
Schlusswort
Voraussetzungen
- Allgemeine Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Fachkräfte
- Data Scientists
Erfahrungsberichte (6)
Ich mochte es, dass es praktisch war. Ich liebte es, die theoretischen Kenntnisse mit praktischen Beispielen anzuwenden.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Der Kurs befasste sich mit einer Reihe sehr komplexer und zusammenhängender Themen, und Pablo verfügt über umfassende Expertise in jedem von ihnen. Manchmal gingen Nuancen in der Kommunikation verloren oder lagen an zeitlichen Druck und möglicherweise wurden die Erwartungen dadurch nicht ganz erfüllt. Auch gab es einige UHG/Azure Databricks Setup-Probleme, die jedoch schnell gelöst wurden, sobald sie offensichtlich wurden. Dies zeigte für mich ein hohes Maß an Verständnis und Professionalität zwischen UHG und Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Individuelle Betreuung.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Praktische Übungen...
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Die Lektionen wurden in einem Jupyter-Notebook unterrichtet. Die Themen waren strukturiert und folgten einer logischen Abfolge, die es natürlich erscheinen ließ, wie sich die Sitzung von den einfacheren Teilen zu den komplexeren entwickelte. Ich bin bereits ein fortgeschrittener Python-Benutzer mit Hintergrund in Maschinellem Lernen, daher fand ich den Kurs leichter zu verfolgen als möglicherweise einige meiner Kommilitonen, die den Trainingskurs besucht haben. Ich schätze, dass einige der elementarsten Konzepte übersprungen wurden und er sich auf die wichtigsten Themen konzentrierte.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Übungsaufgaben
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
