Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für die Bereitstellung
- Paketen von Modellen mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Überlegungen zur Versionierung und Speicherung
Bereitstellung von Modellen auf Kubernetes
- Überblick über Inferenz-Server
- Bereitstellung von TensorFlow Serving und TorchServe
- Einrichten von Modell-Endpunkten
Optimierungstechniken für die Inferenz
- Batching-Strategien
- Verarbeitung paralleler Anfragen
- Justierung von Latenz und Durchsatz
Autoscaling von ML-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Überblick über den NVIDIA Device Plugin
- Ressourcenanforderungen und -limits für ML-Workloads
Strategien für Model Rollout und Release
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Tests zur Modellbewertung
Überwachung und Observability für ML in der Produktion
- Metriken für Inferenz-Workloads
- Praktiken für Logging und Tracing
- Dashboards und Alerting
Sicherheits- und Zuverlässigkeitsaspekte
- Absichern von Modell-Endpunkten
- Netzwerkrichtlinien und Zugriffskontrolle
- Gewährleistung der hohen Verfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundverständnis von Workflows für containerisierte Anwendungen
- Erfahrung mit Machine-Learning-Modellen auf Basis von Python
- Vertrautheit mit den Grundlagen von Kubernetes
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Plattformengineering-Teams
Erfahrungsberichte (1)
Die Kubernetes-Bereiche der Schulung haben mir besonders gut gefallen. Ich hatte zuvor Aufgaben mit K8s-Pods und Ports und freue mich, dass ich nun ein besseres Verständnis davon habe. Vielen Dank!
Laura Miron - Betfair
Kurs - Docker and Kubernetes
Maschinelle Übersetzung