Schulungsübersicht
Einführung
Big Data verstehen
Übersicht zu Spark
Übersicht zu Python
Übersicht zu PySpark
- Datenverteilung über das Resilient Distributed Datasets-Framework
- Berechnungsverteilung über Spark-API-Operatoren
Einrichtung von Python mit Spark
Einrichtung von PySpark
Nutzung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichtung von Databricks
Einrichtung eines AWS EMR-Clusters
Grundlagen der Python-Programmierung
- Einsteigen in Python
- Nutzung des Jupyter Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeit mit Listen
- Verwendung von if-Anweisungen
- Nutzung von Benutzereingaben
- Arbeit mit while-Schleifen
- Implementierung von Funktionen
- Arbeit mit Klassen
- Arbeit mit Dateien und Exceptions
- Arbeit mit Projekten, Daten und APIs
Grundlagen des Spark DataFrame
- Einsteigen in Spark DataFrames
- Implementierung grundlegender Operationen mit Spark
- Verwendung von Groupby- und Aggregationsoperationen
- Arbeit mit Zeitstempeln und Datumsangaben
Praxisübung: Spark-DataFrame-Projekt
Machine Learning mit MLlib verstehen
Arbeit mit MLlib, Spark und Python für Machine Learning
Regressionen verstehen
- Grundlagen der linearen Regression
- Implementierung eines Regressionsbewertungscode
- Praxisübung: Beispiel für lineare Regression
- Grundlagen der logistischen Regression
- Implementierung eines Code für logistische Regression
- Praxisübung: Beispiel für logistische Regression
Zufällige Wälder und Entscheidungsbaum verstehen
- Grundlagen der Baummethoden-Theorie
- Implementierung von Code für Entscheidungsbäume und zufällige Wälder
- Praxisübung: Beispiel für Klassifizierung mit zufälligen Wäldern
Arbeit mit K-Means-Clustering
- K-Means-Clustering-Theorie verstehen
- Implementierung eines K-Means-Clustering-Codes
- Praxisübung: Beispiel für Clustering
Arbeit mit Empfehlungssystemen
Implementierung von Natural Language Processing
- Natural Language Processing (NLP) verstehen
- Übersicht über NLP-Tools
- Praxisübung: Beispiel für NLP
Streaming mit Spark in Python
- Übersicht zu Streaming mit Spark
- Praxisübung: Beispiel für Spark Streaming
Voraussetzungen
- Allgemeine Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Profis
- Data Scientists
Erfahrungsberichte (6)
Ich mochte es, dass es praktisch war. Ich liebte es, die theoretischen Kenntnisse mit praktischen Beispielen anzuwenden.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Der Kurs befasste sich mit einer Reihe sehr komplexer und zusammenhängender Themen, und Pablo verfügt über umfassende Expertise in jedem von ihnen. Manchmal gingen Nuancen in der Kommunikation verloren oder lagen an zeitlichen Druck und möglicherweise wurden die Erwartungen dadurch nicht ganz erfüllt. Auch gab es einige UHG/Azure Databricks Setup-Probleme, die jedoch schnell gelöst wurden, sobald sie offensichtlich wurden. Dies zeigte für mich ein hohes Maß an Verständnis und Professionalität zwischen UHG und Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Individuelle Betreuung.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Praktische Übungen...
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Die Lektionen wurden in einem Jupyter-Notebook unterrichtet. Die Themen waren strukturiert und folgten einer logischen Abfolge, die es natürlich erscheinen ließ, wie sich die Sitzung von den einfacheren Teilen zu den komplexeren entwickelte. Ich bin bereits ein fortgeschrittener Python-Benutzer mit Hintergrund in Maschinellem Lernen, daher fand ich den Kurs leichter zu verfolgen als möglicherweise einige meiner Kommilitonen, die den Trainingskurs besucht haben. Ich schätze, dass einige der elementarsten Konzepte übersprungen wurden und er sich auf die wichtigsten Themen konzentrierte.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Übungsaufgaben
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
