Big Data & Database Systems Fundamentals Schulung

Dieser Kurs richtet sich an Entwickler und Datenwissenschaftler, die KI verstehen und in ihre Anwendungen implementieren wollen. Besonderes Augenmerk wird auf Datenanalyse, verteilte KI und natürliche Sprachverarbeitung gelegt.

Apache Beam ist ein quelloffenes, einheitliches Programmiermodell für die Definition und Ausführung von parallelen Datenverarbeitungspipelines. Seine Stärke liegt in der Fähigkeit, sowohl Batch- als auch Streaming-Pipelines auszuführen, wobei die Ausführung von einem der von Beam unterstützten verteilten Verarbeitungs-Backends übernommen wird: Apache Apex, Apache Flink, Apache Spark, und Google Cloud Dataflow. Apache Beam ist nützlich für ETL-Aufgaben (Extrahieren, Transformieren und Laden) wie das Verschieben von Daten zwischen verschiedenen Speichermedien und Datenquellen, das Transformieren von Daten in ein gewünschtes Format und das Laden von Daten in ein neues System.

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie die Apache Beam-SDKs in einer Java- oder Python-Anwendung implementieren, die eine Datenverarbeitungspipeline zur Zerlegung eines großen Datensatzes in kleinere Teile für eine unabhängige, parallele Verarbeitung definiert.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und konfigurieren Apache Beam.
• ein einziges Programmiermodell zu verwenden, um sowohl Batch- als auch Stream-Verarbeitung innerhalb ihrer Java oder Python Anwendung auszuführen.
• Pipelines über mehrere Umgebungen hinweg auszuführen.

Format des Kurses

• Teilweise Vorlesung, teilweise Diskussion, Übungen und umfangreiche praktische Übungen

Hinweis

• Dieser Kurs wird in Zukunft Scala verfügbar sein. Bitte kontaktieren Sie uns zur Absprache.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenbankadministratoren oder Entwickler, die Microsoft Azure Cosmos DB zur Entwicklung und Verwaltung von Anwendungen mit hoher Reaktionsfähigkeit und geringer Latenz nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Bereitstellen der notwendigen Cosmos DB-Ressourcen, um mit dem Aufbau von Datenbanken und Anwendungen zu beginnen.
• Skalieren Sie die Anwendungsleistung und den Speicher durch Nutzung der APIs in Cosmos DB.
• Verwalten Sie den Datenbankbetrieb und reduzieren Sie die Kosten durch Optimierung der Cosmos DB-Ressourcen.

In dieser von einem Ausbilder geleiteten Live-Schulung in Schweiz lernen die Teilnehmer, wie man ein Data Vault erstellt.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• die Architektur und die Designkonzepte hinter Data Vault 2.0 und ihre Interaktion mit Big Data, NoSQL und KI zu verstehen.
• Data Vaulting-Techniken anwenden, um Auditing, Tracing und Inspektion von historischen Daten in einem Data Warehouse zu ermöglichen.
• Entwicklung eines konsistenten und wiederholbaren ETL-Prozesses (Extract, Transform, Load).
• Aufbau und Bereitstellung hoch skalierbarer und wiederholbarer Warehouses.

Diese Live-Schulung in Schweiz (online oder vor Ort) führt die Teilnehmer in die Prinzipien und Ansätze der verteilten Stream- und Batch-Datenverarbeitung ein und führt sie durch die Erstellung einer Echtzeit-Daten-Streaming-Anwendung in Apache Flink.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Eine Umgebung für die Entwicklung von Datenanalyseanwendungen einrichten.
• Verstehen, wie die graphverarbeitende Bibliothek (Gelly) von Apache Flink funktioniert.
• Flink-basierte, fehlertolerante Daten-Streaming-Anwendungen paketieren, ausführen und überwachen.
• Verschiedene Workloads verwalten.
• Fortgeschrittene Analysen durchführen.
• Einrichten eines Flink-Clusters mit mehreren Knoten.
• Messen und Optimieren der Leistung.
• Flink mit verschiedenen Big Data Systemen integrieren.
• Flink-Funktionen mit denen anderer Big-Data-Verarbeitungs-Frameworks vergleichen.

In dieser von einem Trainer geleiteten Live-Schulung in Schweiz lernen die Teilnehmer die Technologieangebote und Implementierungsansätze für die Verarbeitung von Graphdaten kennen. Ziel ist es, Objekte der realen Welt, ihre Eigenschaften und Beziehungen zu identifizieren, diese Beziehungen zu modellieren und sie als Daten mit einem Graph Computing (auch bekannt als Graph Analytics) Ansatz zu verarbeiten. Wir beginnen mit einem breiten Überblick und konzentrieren uns auf spezifische Tools, während wir eine Reihe von Fallstudien, praktischen Übungen und Live-Einsätzen durchführen.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein

• Verstehen, wie Graphdaten persistiert und durchlaufen werden.
• das beste Framework für eine bestimmte Aufgabe auszuwählen (von Graphdatenbanken bis hin zu Stapelverarbeitungs-Frameworks).
• Implementierung von Hadoop, Spark, GraphX und Pregel, um Graphenberechnungen auf vielen Rechnern parallel durchzuführen.
• Big-Data-Probleme aus der realen Welt in Form von Graphen, Prozessen und Traversalen zu betrachten.

Diese Live-Schulung mit Kursleiter in Schweiz (online oder vor Ort) führt die Teilnehmer in die Hortonworks Data Platform (HDP) ein und begleitet sie durch den Einsatz der Spark + Hadoop Lösung.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Hortonworks verwenden, um Hadoop in großem Maßstab zuverlässig auszuführen.
• Die Sicherheits-, Governance- und Betriebsfunktionen von Hadoop mit den agilen analytischen Workflows von Spark zu vereinen.
• Verwenden Sie Hortonworks, um jede Komponente in einem Spark-Projekt zu untersuchen, zu validieren, zu zertifizieren und zu unterstützen.
• Verarbeiten Sie verschiedene Datentypen, einschließlich strukturierter und unstrukturierter Daten sowie Daten in Bewegung und im Ruhezustand.

Dieser Kurs behandelt die Verwendung der Hive SQL Sprache (AKA: Hive HQL, SQL in Hive , Hive QL) für Personen, die Daten aus Hive extrahieren

Cloudera Impala ist eine quelloffene, massiv-parallele Verarbeitungs- (MPP) SQL Abfrage-Engine für Apache Hadoop-Cluster.

Mit Cloudera Impala können Benutzer Abfragen mit niedriger Latenz SQL an Daten stellen, die im Hadoop Distributed File System und in Apache Hbase gespeichert sind, ohne dass eine Datenbewegung oder -transformation erforderlich ist.

Zielgruppe

Dieser Kurs richtet sich an Analysten und Datenwissenschaftler, die Daten, die in Hadoop gespeichert sind, mit Business Intelligence oder SQL Tools analysieren.

Nach diesem Kurs werden die Teilnehmer in der Lage sein

• Aussagekräftige Informationen aus Hadoop-Clustern mit Impala zu extrahieren.
• Spezifische Programme zu schreiben, um Business Intelligence in Impala SQL Dialekt zu erleichtern.
• Fehler zu beheben Impala.

Diese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka Stream Processing implementieren möchten, ohne Code zu schreiben.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Confluent KSQL zu installieren und zu konfigurieren.
• eine Stream-Processing-Pipeline nur mit SQL-Befehlen einzurichten (keine Java- oder Python-Codierung).
• Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionization vollständig in SQL durchzuführen.
• Interaktive, kontinuierliche Abfragen für Streaming ETL und Echtzeit-Analysen entwerfen und einsetzen.

In dieser von einem Ausbilder geleiteten Live-Schulung in Schweiz (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie Apache NiFi in einer Live-Laborumgebung einsetzen und verwalten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Apachi NiFi zu installieren und zu konfigurieren.
• Daten aus unterschiedlichen, verteilten Datenquellen, einschließlich Datenbanken und Big Data Lakes, zu beschaffen, umzuwandeln und zu verwalten.
• Datenflüsse zu automatisieren.
• Streaming-Analysen zu ermöglichen.
• Wenden Sie verschiedene Ansätze für die Datenerfassung an.
• Transformieren Sie Big Data und in Geschäftseinblicke.

In dieser Live-Schulung unter Anleitung in Schweiz lernen die Teilnehmer die Grundlagen der ablaufbasierten Programmierung, während sie eine Reihe von Demo-Erweiterungen, Komponenten und Prozessoren mit Apache NiFi entwickeln.

Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:

• Die Architektur von NiFi und Datenflusskonzepte zu verstehen.
• Erweiterungen mit NiFi und APIs von Drittanbietern zu entwickeln.
• Ihren eigenen Apache-NiFi-Prozessor zu entwickeln.
• Echtzeitdaten aus unterschiedlichen und ungewöhnlichen Dateiformaten und Datenquellen einlesen und verarbeiten.

In dieser von einem Trainer geleiteten Live-Schulung in Schweiz lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.

Diese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Funktionen von Spark Streaming zur Verarbeitung und Analyse von Echtzeitdaten nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, mit Spark Streaming Live-Datenströme zur Verwendung in Datenbanken, Dateisystemen und Live-Dashboards zu verarbeiten.

MLlib ist die ML-Bibliothek (Machine Learning) von Spark. Ziel ist es, praktisches maschinelles Lernen skalierbar und einfach zu machen. Es besteht aus allgemeinen Lernalgorithmen und Dienstprogrammen, einschließlich Klassifizierung, Regression, Clustering, kollaborativer Filterung, Dimensionsreduzierung sowie Optimierungsprimitiven auf niedrigerer Ebene und Pipeline-APIs auf höherer Ebene.

Es teilt sich in zwei Pakete:

• spark.mllib enthält die ursprüngliche API, die auf RDDs basiert.

• spark.ml bietet eine API auf höherer Ebene, die auf DataFrames zum Erstellen von ML-Pipelines basiert.

Publikum

Dieser Kurs richtet sich an Ingenieure und Entwickler, die eine integrierte Maschinenbibliothek für Apache Spark