Schulungsübersicht
Einführung in die Produktionsbereitstellung
- Wichtige Herausforderungen bei der Bereitstellung fein abgestimmter Modelle
- Unterschiede zwischen Entwicklungs- und Produktionsumgebungen
- Tools und Plattformen für die Modellbereitstellung
Vorbereitung von Modellen für die Bereitstellung
- Exportieren von Modellen in Standardformaten (ONNX, TensorFlow SavedModel usw.)
- Optimierung der Modelle für Latenzzeit und Durchsatz
- Testen der Modelle auf Grenzfällen und realen Daten
Containerisierung für die Modellbereitstellung
- Einführung in Docker
- Erstellung von Docker-Images für ML-Modelle
- Best Practices für Containersicherheit und Effizienz
Skalierung von Bereitstellungen mit Kubernetes
- Einführung in Kubernetes für KI-Arbeitslasten
- Einrichten von Kubernetes-Clustern für die Modellhosting
- Lastverteilung und horizontale Skalierung
Modellüberwachung und -wartung
- Implementierung der Überwachung mit Prometheus und Grafana
- Automatisierte Protokollierung zur Fehlerverfolgung und Leistungsoptimierung
- Retraining-Pipelines für Modellabweichungen und Updates
Sicherstellung der Sicherheit in der Produktion
- Sicherung von APIs für die Modellanfrage
- Authentifizierungs- und Autorisierungsmechanismen
- Bewältigung von Datenschutzbedenken
Case Studies und praktische Übungen
- Bereitstellung eines Sentiment-Analyse-Modells
- Skalierung eines maschinellen Übersetzungsdienstes
- Implementierung der Überwachung für Bildklassifizierungsmodelle
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfangreiches Verständnis von Machine-Learning-Workflows
- Erfahrung mit dem Fine-Tuning von ML-Modellen
- Vertrautheit mit DevOps- oder MLOps-Prinzipien
Zielgruppe
- DevOps-Ingenieure
- MLOps-Praktiker
- Spezialisten für KI-Bereitstellung
Erfahrungsberichte (2)
Craig war extrem engagiert im Training und hat stets darauf geachtet, dass wir aufmerksam sind. Er passte die Beispiele an unsere täglichen Aktivitäten an und gab immer eine Antwort, wenn danach gefragt wurde, auch wenn die Information nicht im Präsentationsmaterial enthalten war.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Kurs - DevOps Foundation®
Maschinelle Übersetzung
Hoher Einsatz und Fachwissen des Trainers
Jacek - Softsystem
Kurs - DevOps Engineering Foundation (DOEF)®
Maschinelle Übersetzung