Kontakt aufnehmen

Schulungsübersicht

Vorbereitung von Machine-Learning-Modellen für das Deploying

  • Packaging der Modelle mit Docker
  • Exportieren von Modellen aus TensorFlow und PyTorch
  • Berücksichtigung von Versionierung und Speicherung

Bereitstellung von Modellen auf Kubernetes

  • Überblick über Inference-Server
  • Deploying von TensorFlow Serving und TorchServe
  • Konfiguration der Modell-Endpoints

Techniken zur Optimierung des Inferenzprozesses

  • Batching-Strategien
  • Behandlung paralleler Anfragen
  • Tuning von Latenz und Durchsatz

Auto-Scaling von ML-Arbeitslasten

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-Bereitstellung und Ressourcenmanagement

  • Konfiguration von GPU-Knoten
  • Übersicht über das NVIDIA Device Plugin
  • Requsts und Limits für ML-Arbeitslasten

Modell-Rollout- und Release-Strategien

  • Blue/Green-Deployments
  • Canary-Rollout-Muster
  • A/B-Testing zur Bewertung von Modellen

Monitoring und Observability für ML im Produktivbetrieb

  • Kennzahlen für Inference-Arbeitslasten
  • Richtlinien für Logging und Tracing
  • Dashboards und Alarmierung

Sicherheits- und Zuverlässigkeitsaspekte

  • Sicherung der Modell-Endpoints
  • Network Policies und Zugriffskontrolle
  • Sicherstellung der Hochverfügbarkeit

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundkenntnisse in containerisierten Anwendungs-Werkflows
  • Erfahrung mit Python-basierten Machine-Learning-Modellen
  • Vertrautheit mit den Grundlagen von Kubernetes

Zielgruppe

  • ML-Ingenieure
  • DevOps-Ingenieure
  • Plattform-Engineering-Teams
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (4)

Kommende Kurse

Verwandte Kategorien