Databricks-Migrationsworkshop: Von gespeicherten Prozeduren zum Lakehouse (5-tägiges Intensivprogramm) Schulung

Einführung, Ziele und Migrationsstrategie

• Kursziele, Anpassung an das Teilnehmerprofil und Erfolgskriterien
• Hochrangige Migrationsansätze und Risikoüberlegungen
• Einrichten von Workspaces, Repositories und Lab-Datensätzen

Tag 1 — Grundlagen der Migration und Architektur

• Lakehouse-Konzepte, Übersicht über Delta Lake und Databricks-Architektur
• Unterschiede zwischen SMP und MPP und deren Auswirkungen auf die Migration
• Medallion-Design (Bronze→Silver→Gold) und Übersicht über Unity Catalog

Lab am Tag 1 — Übersetzung einer gespeicherten Prozedur

• Praktische Migration einer Beispiel-gespeicherten Prozedur in ein Notebook
• Abbildung von temporären Tabellen und Cursors auf DataFrame-Transformationen
• Validierung und Vergleich mit dem ursprünglichen Output

Tag 2 — Fortgeschrittenes Delta Lake & Inkrementelles Laden

• ACID-Transaktionen, Commit-Llogs, Versioning und Time Travel
• Auto Loader, MERGE INTO-Muster, Upserts und Schema-Evolution
• OPTIMIZE, VACUUM, Z-ORDER, Partitionierung und Storage-Tuning

Lab am Tag 2 — Inkrementelle Ingestion & Optimierung

• Implementierung der Auto Loader-Ingestion und MERGE-Workflows
• Anwendung von OPTIMIZE, Z-ORDER und VACUUM; Validierung der Ergebnisse
• Messen der Lese-/Schreibleistungsververbesserungen

Tag 3 — SQL in Databricks, Performance & Debugging

• Analytische SQL-Features: Window Functions, höherstufige Funktionen, JSON-/Array-Behandlung
• Lesen der Spark UI, DAGs, Shuffles, Stages, Tasks und Diagnose von Engpässen
• Muster zur Query-Optimierung: Broadcast Joins, Hints, Caching und Reduzierung des Spillings

Lab am Tag 3 — SQL-Refactoring & Performanzoptimierung

• Refaktorieren eines umfangreichen SQL-Prozesses in optimiertes Spark SQL
• Nutzung der Spark UI-Traces zur Identifikation und Behebung von Skew- und Shuffle-Problemen
• Benchmarking vor/nachher und Dokumentation der Optimierungsschritte

Tag 4 — Praktisches PySpark: Ersetzen prozeduraler Logik

• Spark-Ausführungsmodell: Driver, Executors, Lazy Evaluation und Partitionierungsstrategien
• Transformation von Schleifen und Cursors in vektorierte DataFrame-Operationen
• Modularisierung, UDFs/pandas-UDFs, Widgets und wiederverwendbare Bibliotheken

Lab am Tag 4 — Refactoring prozeduraler Skripte

• Refaktorieren eines prozeduralen ETL-Skripts in modulare PySpark-Notebooks
• Einführung von Parametrisierung, unit-ähnlichen Tests und wiederverwendbaren Funktionen
• Code-Review und Anwendung der Best-Practice-Checkliste

Tag 5 — Orchestrierung, End-to-End-Pipeline & Best Practices

• Databricks Workflows: Job-Design, Task-Abhängigkeiten, Trigger und Fehlerbehandlung
• Entwurf inkrementeller Medallion-Pipelines mit Qualitätsregeln und Schema-Validierung
• Integration mit Git (GitHub/Azure DevOps), CI und Teststrategien für PySpark-Logik

Lab am Tag 5 — Aufbau einer vollständigen End-to-End-Pipeline

• Zusammenstellen der Bronze→Silver→Gold-Pipeline orchestriert mit Workflows
• Implementierung von Logging, Auditierbarkeit, Wiederholungsmechanismen und automatisierten Validierungen
• Ausführen der gesamten Pipeline, Validieren der Outputs und Vorbereiten der Deployment-Notizen

Operationalisierung, Governance und Produktionsreife

• Best Practices für Unity Catalog Governance, Lineage und Zugriffskontrollen
• Kosten, Cluster-Grösse, Auto Scaling und Job-Concurrency-Muster
• Deployment-Checklisten, Rollback-Strategien und Erstellung von Runbooks

Abschlüssebetrachtung, Wissenstransfer und nächste Schritte

• Präsentationen der Migrationsergebnisse durch die Teilnehmer sowie gewonnene Erkenntnisse
• Lückenanalyse, empfohlene Follow-up-Aktivitäten und Übergabe des Schulungsmaterials
• Referenzen, weitere Lernpfade und Support-Optionen