Schulungsübersicht
Einführung
- Überblick über die Herausforderungen bei der Skalierung von Deep Learning
- Überblick über DeepSpeed und seine Funktionen
- DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken
Erste Schritte
- Einrichten der Entwicklungsumgebung
- Installation von PyTorch und DeepSpeed
- Konfigurieren von DeepSpeed für verteiltes Training
DeepSpeed-Optimierungsfunktionen
- DeepSpeed-Trainings-Pipeline
- ZeRO (Speicheroptimierung)
- Aktivierungs-Checkpointing
- Gradient Checkpointing
- Pipeline-Parallelität
Skalierung von Modellen mit DeepSpeed
- Grundlegende Skalierung mit DeepSpeed
- Fortgeschrittene Skalierungstechniken
- Leistungsüberlegungen und bewährte Verfahren
- Debugging und Techniken zur Fehlerbehebung
Fortgeschrittene DeepSpeed-Themen
- Fortgeschrittene Optimierungstechniken
- Verwendung von DeepSpeed mit gemischtem Präzisionstraining
- DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
- DeepSpeed mit mehreren Trainingsknoten
Integration von DeepSpeed mit PyTorch
- Integration von DeepSpeed in PyTorch-Workflows
- Verwendung von DeepSpeed mit PyTorch Lightning
Fehlersuche
- Fehlersuche bei allgemeinen DeepSpeed-Problemen
- Überwachung und Protokollierung
Zusammenfassung und nächste Schritte
- Rekapitulation der wichtigsten Konzepte und Funktionen
- Bewährte Verfahren für die Verwendung von DeepSpeed in der Produktion
- Weitere Ressourcen, um mehr über DeepSpeed zu erfahren
Voraussetzungen
- Mittlere Kenntnisse der Grundsätze des Deep Learning
- Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
- Vertrautheit mit der Python-Programmierung
Zielgruppe
- Datenwissenschaftler
- Ingenieure für maschinelles Lernen
- Entwickler
Erfahrungsberichte (3)
Mir hat besonders der Schluss gefallen, als wir die Zeit nahmen, mit CHAT GPT herumzuspielen. Der Raum war dafür jedoch nicht optimal eingerichtet – anstelle eines großen Tisches wären ein paar kleinere Tische nützlicher gewesen, damit wir in kleinen Gruppen zusammenkommen und brainstormen könnten.
Nola - Laramie County Community College
Kurs - Artificial Intelligence (AI) Overview
Maschinelle Übersetzung
Nach grundlegenden Prinzipien arbeiten und sich innerhalb desselben Tages auf die Anwendung von Fallstudien konzentrieren
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maschinelle Übersetzung
Dass es reale Firmendaten verwendete. Der Trainer hatte einen sehr guten Ansatz, indem er die Teilnehmer aktiv einbezog und sie miteinander wetteifern ließ.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Kurs - Applied AI from Scratch in Python
Maschinelle Übersetzung