Schulungsübersicht
Einführung in die GPU-beschleunigte Containerisierung
- Verständnis der GPU-Nutzung in Deep-Learning-Workflows
- Wie Docker GPU-basierte Workloads unterstützt
- Wesentliche Leistungserwägungen
Installation und Konfiguration des NVIDIA Container Toolkits
- Einrichtung von Treibern und CUDA-Kompatibilität
- Validierung des GPU-Zugriffs innerhalb von Containern
- Konfiguration der Laufzeitumgebung
Erstellung von GPU-fähigen Docker-Images
- Nutzung von CUDA-Basis-Images
- Paketierung von KI-Frameworks in GPU-fähigen Containern
- Verwaltung von Abhängigkeiten für Training und Inferenz
Ausführung von GPU-beschleunigten KI-Workloads
- Ausführen von Trainingsjobs mit GPUs
- Verwaltung von Multi-GPU-Workloads
- Überwachung der GPU-Auslastung
Optimierung der Leistung und Ressourcenzuweisung
- Einschränkung und Isolation von GPU-Ressourcen
- Optimierung von Speicher, Batch-Grössen und Geräteplatzierung
- Leistungsanpassung und Diagnose
Containerisierte Inferenz und Modellbereitstellung
- Erstellung von inferenzfertigen Containern
- Bereitstellung von Lastspitzen-Workloads auf GPUs
- Integration von Modell-Ausführungsprogrammen und APIs
Skalierung von GPU-Workloads mit Docker
- Strategien für verteiltes GPU-Training
- Skalierung von Inferenz-Mikrodiensten
- Koordination von Multi-Container-KI-Systemen
Sicherheit und Zuverlässigkeit für GPU-fähige Container
- Gewährleistung eines sicheren GPU-Zugriffs in geteilten Umgebungen
- Verstärkung der Container-Images
- Verwaltung von Aktualisierungen, Versionen und Kompatibilität
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundkenntnisse in Deep Learning
- Erfahrung mit Python und gängigen KI-Frameworks
- Vertrautheit mit grundlegenden Konzepten der Containerisierung
Zielgruppe
- Deep-Learning-Engineers
- Forschungs- und Entwicklungsteams
- KI-Model-Trainern
Erfahrungsberichte (2)
Wie ich bereits erwähnt habe, war dies für mich (ohne Erfahrung) ein Tor zum Verständnis der Funktionen und Möglichkeiten dieser Programme und Werkzeuge.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung
ein mehrstufiges, strukturiertes Kursprogramm.
Bert Paelinckx - Cube SoftwareSolutions
Kurs - Introduction to Docker
Maschinelle Übersetzung