Databricks-Migrations-Workshop: Von Stored Procedures zum Lakehouse (5-Tages-Intensivkurs) Schulung

Einführung, Ziele und Migrationsstrategie

• Kursziele, Ausrichtung auf das Teilnehmerprofil und Erfolgskriterien
• Migrationsansätze auf hoher Ebene und Risikobetrachtungen
• Einrichtung von Workspaces, Repositories und Labordatensätzen

Tag 1 – Grundlagen der Migration und Architektur

• Lakehouse-Konzepte, Überblick über Delta Lake und Databricks-Architektur
• Unterschiede zwischen SMP und MPP und ihre Auswirkungen auf die Migration
• Medallion- (Bronze→Silver→Gold-)Design und Überblick über Unity Catalog

Tag 1 Labor – Übersetzen einer Stored Procedure

• Praktische Migration einer Beispiel-Stored Procedure in ein Notebook
• Kartierung von Temp-Tabellen und Cursoren auf DataFrame-Transformationen
• Validierung und Vergleich mit der ursprünglichen Ausgabe

Tag 2 – Fortgeschrittenes Delta Lake & inkrementelle Ladevorgänge

• ACID-Transaktionen, Commit-Logs, Versionierung und Time Travel
• Auto Loader, MERGE INTO-Muster, Upserts und Schema-Evolution
• OPTIMIZE, VACUUM, Z-ORDER, Partitionierung und Speicher-Tuning

Tag 2 Labor – Inkrementelle Ingestion & Optimierung

• Implementierung der Auto Loader-Ingestion und MERGE-Workflows
• Anwendung von OPTIMIZE, Z-ORDER und VACUUM; Validierung der Ergebnisse
• Maßnahmen zur Verbesserung der Lese-/Schreibperformance

Tag 3 – SQL in Databricks, Performance & Debugging

• Analytische SQL-Funktionen: Fensterfunktionen, höhere Funktionen, JSON-/Array-Verarbeitung
• Lesen der Spark UI, DAGs, Shuffles, Stufen, Aufgaben und Diagnose von Engpässen
• Muster für Query-Tuning: Broadcast Joins, Hints, Caching und Reduzierung von Spills

Tag 3 Labor – SQL-Refactoring & Performance-Tuning

• Refactoring eines schweren SQL-Prozesses in optimiertes Spark SQL
• Nutzung von Spark-UI-Spuren zur Identifizierung und Behebung von Schieflagen und Shuffle-Problemen
• Benchmark vor/nach und Dokumentation der Tuning-Schritte

Tag 4 – Taktisches PySpark: Ersetzen prozeduraler Logik

• Spark-Ausführungsmodell: Driver, Executors, Lazy Evaluation und Partitionierungsstrategien
• Transformation von Schleifen und Cursoren in vektorisierte DataFrame-Operationen
• Modularisierung, UDFs/pandas UDFs, Widgets und wiederverwendbare Bibliotheken

Tag 4 Labor – Refactoring prozeduraler Skripte

• Refactoring eines prozeduralen ETL-Skripts in modulare PySpark-Notebooks
• Einführung von Parametrisierung, unit-ähnlichen Tests und wiederverwendbaren Funktionen
• Code-Review und Anwendung einer Best-Practice-Checkliste

Tag 5 – Orchestrierung, End-to-End-Pipeline & Best Practices

• Databricks Workflows: Job-Design, Task-Abhängigkeiten, Trigger und Fehlerbehandlung
• Gestaltung inkrementeller Medallion-Pipelines mit Qualitätsregeln und Schema-Validierung
• Integration mit Git (GitHub/Azure DevOps), CI und Teststrategien für PySpark-Logik

Tag 5 Labor – Aufbau einer vollständigen End-to-End-Pipeline

• Zusammenbau der Bronze→Silver→Gold-Pipeline, orchestriert mit Workflows
• Implementierung von Logging, Auditing, Retries und automatisierten Validierungen
• Ausführen der vollständigen Pipeline, Validierung der Ausgaben und Vorbereitung der Bereitstellungsnotizen

Operationalisierung, Governance und Produktionsreife

• Best Practices für Unity Catalog Governance, Stammbaum und Zugriffskontrollen
• Kosten, Cluster-Größenbestimmung, Auto-Scaling und Job-Konkurrenz-Muster
• Bereitstellungschecklisten, Rollback-Strategien und Erstellung von Runbooks

Finale Überprüfung, Wissenstransfer und nächste Schritte

• Präsentationen der Teilnehmer zur Migrationsarbeit und gelernten Lektionen
• Lückenanalyse, empfohlene Folgetätigkeiten und Übergabe des Schulungsmaterials
• Referenzen, weitere Lernpfade und Support-Optionen