Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für die Bereitstellung
- Paketen von Modellen mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Überlegungen zur Versionierung und Speicherung
Bereitstellung von Modellen auf Kubernetes
- Überblick über Inferenz-Server
- Bereitstellung von TensorFlow Serving und TorchServe
- Einrichten von Modell-Endpunkten
Optimierungstechniken für die Inferenz
- Batching-Strategien
- Verarbeitung paralleler Anfragen
- Justierung von Latenz und Durchsatz
Autoscaling von ML-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Überblick über den NVIDIA Device Plugin
- Ressourcenanforderungen und -limits für ML-Workloads
Strategien für Model Rollout und Release
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Tests zur Modellbewertung
Überwachung und Observability für ML in der Produktion
- Metriken für Inferenz-Workloads
- Praktiken für Logging und Tracing
- Dashboards und Alerting
Sicherheits- und Zuverlässigkeitsaspekte
- Absichern von Modell-Endpunkten
- Netzwerkrichtlinien und Zugriffskontrolle
- Gewährleistung der hohen Verfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundverständnis von Workflows für containerisierte Anwendungen
- Erfahrung mit Machine-Learning-Modellen auf Basis von Python
- Vertrautheit mit den Grundlagen von Kubernetes
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Plattformengineering-Teams
Erfahrungsberichte (3)
grundlegendes Verständnis von Containern und Kubernetes sowie deren Interaktion Funktionen der OpenShift-Plattform
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maschinelle Übersetzung
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes