Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für das Deploying
- Packaging der Modelle mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Berücksichtigung von Versionierung und Speicherung
Bereitstellung von Modellen auf Kubernetes
- Überblick über Inference-Server
- Deploying von TensorFlow Serving und TorchServe
- Konfiguration der Modell-Endpoints
Techniken zur Optimierung des Inferenzprozesses
- Batching-Strategien
- Behandlung paralleler Anfragen
- Tuning von Latenz und Durchsatz
Auto-Scaling von ML-Arbeitslasten
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Übersicht über das NVIDIA Device Plugin
- Requsts und Limits für ML-Arbeitslasten
Modell-Rollout- und Release-Strategien
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Testing zur Bewertung von Modellen
Monitoring und Observability für ML im Produktivbetrieb
- Kennzahlen für Inference-Arbeitslasten
- Richtlinien für Logging und Tracing
- Dashboards und Alarmierung
Sicherheits- und Zuverlässigkeitsaspekte
- Sicherung der Modell-Endpoints
- Network Policies und Zugriffskontrolle
- Sicherstellung der Hochverfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundkenntnisse in containerisierten Anwendungs-Werkflows
- Erfahrung mit Python-basierten Machine-Learning-Modellen
- Vertrautheit mit den Grundlagen von Kubernetes
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Plattform-Engineering-Teams
Erfahrungsberichte (4)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Das Wissen und die Austausche mit Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung