Grundlagen von Apache Iceberg Schulung

Diese vom Dozenten geleitete Live-Schulung in <ort> (online oder vor Ort) richtet sich an erfahrene Datenprofis, die ihre Datenverarbeitungsoptionen optimieren, die Datenintegrität sicherstellen und robuste Lakehouse-Lösungen implementieren möchten, die den Komplexitäten moderner Big-Data-Anwendungen gewachsen sind.

Am Ende dieser Schulung werden die Teilnehmer:

• ein tiefes Verständnis von Icebergs Architektur gewinnen, einschliesslich Metadata-Management und Dateistruktur.
• Iceberg für optimale Leistung in verschiedenen Umgebungen konfigurieren und mit mehreren Datenverarbeitungs-Engines integrieren können.
• grosse Iceberg-Tabellen verwalten, komplexe Schemaänderungen durchführen und Partitionsevolution handhaben können.
• Techniken optimieren, um Abfrageleistung und Datendurchlaufeffizienz für grosse Datenmengen zu maximieren.
• Mechanismen implementieren können, um die Datenkonsistenz sicherzustellen, Transaktionsgarantien zu verwalten und Ausfälle in verteilten Umgebungen zu bewältigen.

Dieses live dozierte Training in Schweiz (online oder vor Ort) richtet sich an Datenwissenschaftler und Ingenieurinnen sowie Ingenieure auf dem mittleren Niveau, die Google Colab und Apache Spark für die Big-Data-Verarbeitung und -Analyse nutzen möchten.

Am Ende dieses Trainings können Teilnehmende:

• Eine Big-Data-Umgebung mit Google Colab und Spark einrichten.
• Grosse Datensätze effizient mit Apache Spark verarbeiten und analysieren.
• Big Data in einer kollaborativen Umgebung visualisieren.
• Apache Spark mit Cloud-basierten Tools integrieren.

Fortschritte in der Technologie und die zunehmende Menge an Informationen verändern die Art und Weise, wie in vielen Branchen, einschließlich der öffentlichen Verwaltung, Geschäfte gemacht werden. Die Entstehungs- und Digitalisierungsquoten von Regierungsinformationen steigen aufgrund des rasanten Wachstums mobiler Geräte und Anwendungen, intelligenter Sensoren und Geräte, Cloud-Computing-Lösungen sowie Bürgerportale. Da digitale Informationen expandieren und komplexer werden, werden auch das Informationsmanagement, die Verarbeitung, Speicherung, Sicherheit und Löschung anspruchsvoller. Neue Tools für Erfassung, Suche, Entdeckung und Analyse helfen Organisationen dabei, Erkenntnisse aus ihren unstrukturierten Daten zu gewinnen. Der Regierungsmarkt befindet sich an einem Wendepunkt: Er erkennt zunehmend, dass Informationen ein strategisches Gut sind. Regierungen müssen strukturierte und unstrukturierte Informationen schützen, nutzen und analysieren, um ihre Auftragserfüllung besser zu unterstützen. Während Regierungsvertreter versuchen datengesteuerte Organisationen weiterzuentwickeln, um ihre Mission erfolgreich zu erfüllen, legen sie den Grundstein zur Korrelation von Abhängigkeiten zwischen Ereignissen, Personen, Prozessen und Informationen.

Hochwertige Regierungslösungen entstehen aus einer Mischung der disruptivsten Technologien:

• Mobile Geräte und Anwendungen
• Cloud-Dienste
• Social Business Technologien und Netzwerke
• Big Data und Analysen

Big Data ist eine intelligente Branchenlösung, die Regierungen ermöglicht, bessere Entscheidungen zu treffen, indem sie auf Grundlage von Mustern handeln, die durch die Analyse großer Datenmengen – sowohl zusammenhängender als auch nicht zusammenhängender, strukturierter als auch unstrukturierter Daten – aufgedeckt werden.

Die Bewältigung dieser Herausforderungen erfordert jedoch weit mehr als nur das Ansammeln massiver Datenmengen. „Um aus diesen großen Mengen an Big Data Sinn zu schöpfen, benötigt man hochmoderne Tools und Technologien, die in der Lage sind, aus riesigen und vielfältigen Informationsströmen nützliches Wissen zu analysieren und zu extrahieren“, schrieben Tom Kalil und Fen Zhao vom Büro für Wissenschaft und Technologieförderung des Weißen Hauses (Office of Science and Technology Policy) in einem Beitrag im OSTP-Blog.

Das Weiße Haus unternahm einen Schritt in die richtige Richtung, als es 2012 die Nationale Forschungs- und Entwicklungsinitiative für Big Data ins Leben rief. Diese Initiative umfasste mehr als 200 Millionen US-Dollar, um das Potenzial des Big-Data-Booms und der dafür benötigten Analyse-Tools voll auszuschöpfen.

Die Herausforderungen, die Big Data mit sich bringt, sind kaum weniger überwältigend als seinversprechendes Potenzial ermutigend ist. Eine dieser Herausforderungen ist die effiziente Speicherung von Daten. Wie immer sind die Budgets knapp, sodass Behörden den Speicherpreis pro Megabyte minimieren und die Daten schnell zugänglich halten müssen, damit Benutzer sie genau dann und so abrufen können, wie sie es benötigen. Die Sicherung massiver Datenmengen verschärft diese Herausforderung noch weiter.

Eine weitere große Herausforderung ist die effektive Analyse der Daten. Viele Behörden setzen kommerzielle Tools ein, die ihnen ermöglichen, durch die Datenberge zu suchen und Trends zu erkennen, die sie effizienter arbeiten lassen. (Eine kürzlich von MeriTalk durchgeführte Studie ergab, dass IT-Experten des Bundesstaats glauben, Big Data könnte den Behörden helfen, mehr als 500 Milliarden US-Dollar einzusparen,同时还 erfüllung der Missionsziele zu unterstützen).

Eigens entwickelte Big-Data-Tools ermöglichen es Behörden ebenfalls, die Notwendigkeit der Datenanalyse zu adressieren. So hat zum Beispiel die Computational Data Analytics Group des Oak Ridge National Laboratory ihr Piranha-Datenanalytesystem anderen Behörden zur Verfügung gestellt. Das System half medizinischen Forschern dabei, einen Zusammenhang aufzudecken, der Ärzte vor einem aortenvaskulären Aneurysma warnen kann. Es wird auch für routinemässigere Aufgaben eingesetzt, wie etwa das Durchsuchen von Lebensläufen, um Bewerber mit den eingestellten Managern zusammenzubringen.

Teilnehmer, die dieses dozentengestützte, live Training in Schweiz absolvieren, gewinnen ein praxisorientiertes, reales Verständnis von Big Data sowie den damit verbundenen Technologien, Methodiken und Tools.

Die Teilnehmer haben die Möglichkeit, ihr Wissen durch praktische Übungen in die Tat umzusetzen. Gruppeninteraktion und Rückmeldungen des Dozenten sind wesentliche Bestandteile des Kurses.

Der Kurs beginnt mit einer Einführung in die Grundkonzepte von Big Data und geht anschliessend über zu den Programmiersprachen und Methodiken, die für die Datenanalyse verwendet werden. Schliesslich diskutieren wir die Tools und Infrastrukturen, die Big-Data-Speicher, verteilte Verarbeitung und Skalierbarkeit ermöglichen.

Big Data und erweiterte Analytik bezeichnet die Anwendung fortgeschrittener Techniken und Werkzeuge zur Analyse grosser, komplexer Datensätze mit dem Ziel, handlungsrelevante Erkenntnisse und strategische Entscheidungsgrundlagen zu gewinnen.

Diese dozentengeführte Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene Datenfachleute, die moderne analytische Methoden und Big-Data-Technologien für prädiktive, präskriptive und Echtzeit-Analysen nutzen möchten.

Nach Abschluss dieser Schulung können die Teilnehmenden:

• Grossmaßstäbliche Datenverarbeitungs-Pipelines für strukturierte und unstrukturierte Daten entwerfen und implementieren.
• Fortschrittliche Techniken des maschinellen Lernens und Deep Learning auf massenhafte Datensätze anwenden.
• Verteilte Rechentechnologien für Echtzeit-Analysen und Data Streaming nutzen.
• Big-Data-Analytics in Systeme der Business Intelligence (BI) und Entscheidungsfindung integrieren.

Kursformat

• Interaktive Vorträge und Diskussionen.
• Viel Übung und praktische Anwendung.
• Praktische Implementierung in einer Live-Lab-Umgebung.

Optionen zur Kursanpassung

• Um eine massgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Vereinbarung.

In diesem Dozenten-leden Live-Training in Schweiz werden die Teilnehmer die Denkweise lernen, mit der sie sich Big-Data-Technologien nähern müssen, deren Auswirkungen auf bestehende Prozesse und Richtlinien bewerten sowie diese Technologien zur Identifizierung krimineller Aktivitäten und zur Prävention von Kriminalität implementieren. Fallstudien von Strafverfolgungsorganisationen weltweit werden untersucht, um Einblicke in ihre Implementierungsansätze, Herausforderungen und Ergebnisse zu gewinnen.

Am Ende dieses Trainings können die Teilnehmer:

• Big-Data-Technologie mit traditionellen Datenerfassungsprozessen kombinieren, um während einer Untersuchung ein Gesamtbild zusammenzusetzen.
• Industrielle Big-Data-Speicher- und Verarbeitungslösungen für die Datenanalyse implementieren.
• Einen Vorschlag zur Einführung der am besten geeigneten Werkzeuge und Prozesse für einen datengestützten Ansatz bei der Kriminalitätsbekämpfung erarbeiten.

Apache NiFi ist eine Open-Source-, datenflussbasierte Datenintegrations- und Ereignisverarbeitungsplattform. Sie ermöglicht die automatisierte Echtzeit-Datenweiterleitung, -transformation und Systemvermittlung zwischen unterschiedlichen Systemen mit einer webbasierten Benutzeroberfläche und feingranularer Steuerung.

Diese unter Anleitung durchgeführte Live-Schulung (vor Ort oder remote) richtet sich an Administratoren und Ingenieure auf mittlerem Niveau, die NiFi-Datenflüsse in Produktionsumgebungen bereitstellen, verwalten, sichern und optimieren möchten.

Nach Abschluss dieser Schulung werden die Teilnehmer:

• Apache-NiFi-Cluster installieren, konfigurieren und warten können.
• Datenflüsse aus verschiedenen Quellen und Senken entwerfen und verwalten können.
• Automatisierungs-, Weiterleitungs- und Transformationslogiken für Flüsse implementieren können.
• Die Leistung optimieren, den Betrieb überwachen und Probleme beheben können.

Format des Kurses

• Interaktive Vorträge mit Diskussionen über Realarchitekturen.
• Praktische Übungen: Aufbau, Bereitstellung und Verwaltung von Datenflüssen.
• Szenariobasierte Übungen in einer Live-Lab-Umgebung.

Optionen zur Kursanpassung

• Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zwecks Vereinbarung.

Dieses Training bietet eine praktische Einführung in den Aufbau skalierbarer Datenverarbeitung und maschineller Lernworkflows mit PySpark. Die Teilnehmenden erfahren, wie Apache Spark in modernen Big-Data-Ökosystemen funktioniert und wie grosse Datenmengen effizient anhand der Prinzipien des verteilten Rechnens verarbeitet werden.

Diese von Instrukturen geleitete, lebendige Schulung in Schweiz (online oder vor Ort) richtet sich an Ingenieurinnen und Ingenieure, die ein Apache Spark-System zur Verarbeitung sehr grosser Datenmengen einrichten und bereitstellen möchten.

Am Ende dieser Schulung werden die Teilnehmenden in der Lage sein:

• Apache Spark zu installieren und zu konfigurieren.
• Sehr grosse Datenmengen schnell zu verarbeiten und zu analysieren.
• Die Unterschiede zwischen Apache Spark und Hadoop MapReduce zu verstehen und zu wissen, wann welches Tool eingesetzt werden sollte.
• Apache Spark mit anderen Tools für maschinelles Lernen zu integrieren.

Diese vom Instructor geführte Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Systemadministratoren mit Grundkenntnissen bis hin zu fortgeschrittenem Niveau, die Spark-Cluster bereitstellen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmenden in der Lage sein:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Ressourcen des Clusters zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clatern zu optimieren.
• Sicherheitsmassnahmen umzusetzen und hohe Verfügbarkeit sicherzustellen.
• Häufige Spark-Probleme zu debuggen und zu beheben.

Die Lernkurve von Apache Spark steigt am Anfang langsam, es ist viel Aufwand erforderlich, um die ersten Ergebnisse zu erzielen. Dieser Kurs zielt darauf ab, diesen anfänglichen schweren Teil schneller zu überwinden. Nach Abschluss des Kurses werden die Teilnehmer die Grundlagen von Apache Spark verstehen, sie können RDDs klar von DataFrames unterscheiden, sie lernen die Python- und Scala-APIs kennen, sie verstehen, wie Executors und Aufgaben funktionieren, und mehr. Außerdem legt dieser Kurs unter Einhaltung der Best Practices einen starken Fokus auf Cloud-Bereitstellungen sowie auf Databricks und AWS. Die Studierenden werden auch die Unterschiede zwischen AWS EMR und AWS Glue, einem der neuesten Spark-Dienste von AWS, nachvollziehen.  

ZIELGRUPPE:

Daten-Engineers, DevOps-Ingenieure, Data Scientists

In diesem instruktionsgeführten Live-Training in Schweiz lernen die Teilnehmer, wie sie Python und Spark gemeinsam nutzen können, um Big Data zu analysieren, während sie praktische Übungen durchführen.

Bis zum Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Spark mit Python zur Analyse von Big Data einzusetzen.
• Übungen durchzuführen, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark zu nutzen.

Dieser von Instruktoren geleitete Live-Kurs in Schweiz (online oder vor Ort) richtet sich an Entwicklerinnen und Entwickler, die Spark, Hadoop und Python nutzen und integrieren möchten, um grosse und komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses sind die Teilnehmenden in der Lage:

• Die notwendigen Umgebungen einzurichten, um mit Spark, Hadoop und Python mit der Verarbeitung von Big Data zu beginnen.
• Die Funktionen, Kernkomponenten und die Architektur von Spark und Hadoop zu verstehen.
• Zu lernen, wie Spark, Hadoop und Python für die Big-Data-Verarbeitung integriert werden können.
• Die Tools im Spark-Ökosystem zu erkunden (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka und Flume).
• Kooperative Filter-Empfehlungssysteme ähnlich wie bei Netflix, YouTube, Amazon, Spotify und Google zu entwickeln.
• Apache Mahout zur Skalierung von Machine-Learning-Algorithmen einzusetzen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI und Governance in einer einzigen Lösung integriert. Seine Rocket- und Intelligence-Module ermöglichen eine schnelle Datenerkundung, Transformation und erweiterte Analysen in Unternehmensumgebungen.

Diese instruktorgeführte Live-Schulung (online oder vor Ort) richtet sich an Datenprofessionals mit mittlerem Erfahrungsgrad, die die Rocket- und Intelligence-Module von Stratio effektiv mit PySpark nutzen möchten, wobei der Fokus auf Schleifenstrukturen, benutzerdefinierten Funktionen und komplexer Datenlogik liegt.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• In der Stratio-Plattform zu navigieren und innerhalb der Rocket- und Intelligence-Module zu arbeiten.
• PySpark im Kontext von Datenaufnahme, Transformation und Analyse einzusetzen.
• Schleifen und bedingte Logik zu verwenden, um Datenworkflows und Feature-Engineering-Aufgaben zu steuern.
• Benutzerdefinierte Funktionen (UDFs) für wiederwendbare Datenoperationen in PySpark zu erstellen und zu verwalten.

Kursformat

• Interaktiver Vortrag und Diskussion.
• Umfangreiche Übungen und Praxis.
• Praktische Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Anpassung des Kurses

• Um eine kundenspezifische Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu vereinbaren.