DeepSpeed für Tiefenlernen Schulung
DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die die Skalierung von Deep-Learning-Modellen auf verteilter Hardware erleichtert. DeepSpeed wurde von Microsoft entwickelt und ist in PyTorch integriert, um eine bessere Skalierung, ein schnelleres Training und eine bessere Ressourcenauslastung zu ermöglichen.
Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Datenwissenschaftler und Ingenieure für maschinelles Lernen, die die Leistung ihrer Deep-Learning-Modelle verbessern möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Prinzipien des verteilten Deep Learning zu verstehen.
- DeepSpeed installieren und konfigurieren.
- Deep-Learning-Modelle auf verteilter Hardware mit DeepSpeed skalieren.
- DeepSpeed-Funktionen zur Optimierung und Speichereffizienz zu implementieren und damit zu experimentieren.
Format des Kurses
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Praktische Umsetzung in einer Live-Laborumgebung.
Optionen zur Kursanpassung
- Wenn Sie eine maßgeschneiderte Schulung für diesen Kurs wünschen, nehmen Sie bitte Kontakt mit uns auf, um dies zu vereinbaren.
Schulungsübersicht
Einführung
- Überblick über die Herausforderungen bei der Skalierung von Deep Learning
- Überblick über DeepSpeed und seine Funktionen
- DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken
Erste Schritte
- Einrichten der Entwicklungsumgebung
- Installation von PyTorch und DeepSpeed
- Konfigurieren von DeepSpeed für verteiltes Training
DeepSpeed-Optimierungsfunktionen
- DeepSpeed-Trainings-Pipeline
- ZeRO (Speicheroptimierung)
- Aktivierungs-Checkpointing
- Gradient Checkpointing
- Pipeline-Parallelität
Skalierung von Modellen mit DeepSpeed
- Grundlegende Skalierung mit DeepSpeed
- Fortgeschrittene Skalierungstechniken
- Leistungsüberlegungen und bewährte Verfahren
- Debugging und Techniken zur Fehlerbehebung
Fortgeschrittene DeepSpeed-Themen
- Fortgeschrittene Optimierungstechniken
- Verwendung von DeepSpeed mit gemischtem Präzisionstraining
- DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
- DeepSpeed mit mehreren Trainingsknoten
Integration von DeepSpeed mit PyTorch
- Integration von DeepSpeed in PyTorch-Workflows
- Verwendung von DeepSpeed mit PyTorch Lightning
Fehlersuche
- Fehlersuche bei allgemeinen DeepSpeed-Problemen
- Überwachung und Protokollierung
Zusammenfassung und nächste Schritte
- Rekapitulation der wichtigsten Konzepte und Funktionen
- Bewährte Verfahren für die Verwendung von DeepSpeed in der Produktion
- Weitere Ressourcen, um mehr über DeepSpeed zu erfahren
Voraussetzungen
- Mittlere Kenntnisse der Grundsätze des Deep Learning
- Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
- Vertrautheit mit der Python-Programmierung
Zielgruppe
- Datenwissenschaftler
- Ingenieure für maschinelles Lernen
- Entwickler
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
DeepSpeed für Tiefenlernen Schulung - Buchung
DeepSpeed für Tiefenlernen Schulung - Anfrage
DeepSpeed für Tiefenlernen - Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Advanced Stable Diffusion: Deep Learning für Text-zu-Bild-Generierung
21 StundenDiese von einem Dozenten geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Datenwissenschaftler, Ingenieure für maschinelles Lernen, Deep-Learning-Forscher und Computer-Vision-Experten, die ihre Kenntnisse und Fähigkeiten im Bereich Deep Learning für die Text-zu-Bild-Erzeugung erweitern möchten.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- Fortgeschrittene Deep-Learning-Architekturen und -Techniken für die Text-Bild-Erzeugung zu verstehen.
- Komplexe Modelle und Optimierungen für eine hochwertige Bildsynthese zu implementieren.
- Leistung und Skalierbarkeit für große Datensätze und komplexe Modelle zu optimieren.
- Abstimmung von Hyperparametern für bessere Modellleistung und Generalisierung.
- Integration von Stable Diffusion mit anderen Deep-Learning-Frameworks und -Tools
AlphaFold
7 StundenDiese von einem Ausbilder geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Biologen, die verstehen möchten, wie AlphaFold funktioniert, und die AlphaFold-Modelle als Leitfaden für ihre experimentellen Studien verwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundprinzipien von AlphaFold verstehen.
- Lernen, wie AlphaFold funktioniert.
- lernen, wie sie AlphaFold-Vorhersagen und -Ergebnisse interpretieren können.
Angewandte KI von Grund auf
28 StundenDies ist ein 4-tägiger Kurs, der in KI und ihre Anwendung einführt. Es besteht die Möglichkeit, nach Abschluss des Kurses einen zusätzlichen Tag für die Durchführung eines KI-Projekts zu nutzen.
Tiefenlernen-Neuronale Netze mit Chainer
14 StundenDiese von einem Dozenten geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Forscher und Entwickler, die mit Chainer neuronale Netze in Python aufbauen und trainieren wollen und dabei den Code leicht debuggen können.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- die notwendige Entwicklungsumgebung einzurichten, um mit der Entwicklung neuronaler Netzmodelle zu beginnen.
- Neuronale Netzmodelle unter Verwendung eines verständlichen Quellcodes zu definieren und zu implementieren.
- Beispiele auszuführen und bestehende Algorithmen zu modifizieren, um Deep-Learning-Trainingsmodelle zu optimieren und dabei GPUs für hohe Leistung zu nutzen.
Verwenden von Computer Network ToolKit (CNTK)
28 StundenComputer Network ToolKit (CNTK) ist Microsoft's Open Source, Multi-machine, Multi-GPU, Highly efficent RNN training machine learning framework for speech, text, and images.
Zielgruppe
Dieser Kurs richtet sich an Ingenieure und Architekten, die CNTK in ihren Projekten einsetzen wollen.
Computer Vision mit Google Colab und TensorFlow
21 StundenDiese von einem Ausbilder geleitete, live-Schulung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die ihr Verständnis des Computer Vision vertiefen und die Fähigkeiten von TensorFlow zur Entwicklung komplexer Vision-Modelle mit Google Colab erkunden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Faltungsschicht-Neuronale Netze (CNNs) mit TensorFlow zu bauen und zu trainieren.
- Google Colab für skalierbare und effiziente, cloudbasierte Modellentwicklung zu nutzen.
- Bildvorverarbeitungstechniken für Computer Vision-Aufgaben zu implementieren.
- Computer Vision-Modelle für Anwendungen in der Praxis bereitzustellen.
- Übertragungslernen (Transfer Learning) zur Leistungssteigerung von CNN-Modellen zu nutzen.
- Die Ergebnisse von Bildklassifikationsmodellen zu visualisieren und zu interpretieren.
Deep Learning mit TensorFlow in Google Colab
14 StundenDiese von einem Trainer geleitete Live-Ausbildung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Datenwissenschaftler und Entwickler, die Deep-Learning-Techniken im Umfeld von Google Colab verstehen und anwenden möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Google Colab für Deep-Learning-Projekte einrichten und bedienen.
- Grundlagen von neuronalen Netzen verstehen.
- Deep-Learning-Modelle mit TensorFlow implementieren.
- Deep-Learning-Modelle trainieren und bewerten.
- Erweiterte Funktionen von TensorFlow für das Deep Learning nutzen.
Deep Learning für NLP (Natural Language Processing)
28 StundenIn diesem von einem Dozenten geleiteten Live-Training in Schweiz lernen die Teilnehmer, Python-Bibliotheken für NLP zu verwenden, während sie eine Anwendung erstellen, die eine Reihe von Bildern verarbeitet und dazugehörige Untertitel generiert.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Deep Learning für NLP mit Python-Bibliotheken zu entwerfen und zu codieren.
- Python-Code zu erstellen, der eine große Sammlung von Bildern liest und Schlüsselwörter generiert.
- Python-Code zu erstellen, der aus den erkannten Schlüsselwörtern Untertitel generiert.
Tiefenlernen für Sehen
21 StundenZielgruppe
Dieses Kurs ist für Deep Learning-Forscher und -Ingenieure geeignet, die daran interessiert sind, verfügbare Tools (in der Regel Open-Source) zur Analyse von Computerbildern zu nutzen.
Der Kurs bietet praktische Beispiele.
Edge AI mit TensorFlow Lite
14 StundenDiese von einem Trainer durchgeführte Live-Ausbildung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, Datenwissenschaftler und AI-Praktiker, die TensorFlow Lite für Edge AI-Anwendungen nutzen möchten.
Am Ende dieser Ausbildung werden die Teilnehmer in der Lage sein:
- Grundlagen von TensorFlow Lite und dessen Rolle im Edge AI zu verstehen.
- AI-Modelle mit TensorFlow Lite entwickeln und optimieren.
- TensorFlow Lite-Modelle auf verschiedenen Edge-Geräten bereitstellen.
- Werkzeuge und Techniken für Modellumwandlung und -optimierung einsetzen.
- Praktische Edge AI-Anwendungen mit TensorFlow Lite implementieren.
Tiefenlernen mit FPGA und OpenVINO beschleunigen
35 StundenDiese von einem Trainer geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Datenwissenschaftler, die Echtzeitanwendungen für maschinelles Lernen beschleunigen und in großem Umfang einsetzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Das Toolkit OpenVINO zu installieren.
- Eine Computer-Vision-Anwendung mit einem FPGA zu beschleunigen.
- Verschiedene CNN-Schichten auf dem FPGA auszuführen.
- die Anwendung über mehrere Knoten in einem Kubernetes-Cluster zu skalieren.
Verteiltes Tiefes Lernen mit Horovod
7 StundenDiese von einem Trainer geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Entwickler oder Datenwissenschaftler, die Horovod verwenden möchten, um verteilte Deep-Learning-Trainings durchzuführen und sie so zu skalieren, dass sie über mehrere GPUs parallel laufen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- die notwendige Entwicklungsumgebung einzurichten, um Deep-Learning-Trainings auszuführen.
- Horovod zu installieren und zu konfigurieren, um Modelle mit TensorFlow, Keras, PyTorch und Apache MXNet zu trainieren.
- Deep-Learning-Training mit Horovod zu skalieren, um es auf mehreren GPUs laufen zu lassen.
Tiefenlernen mit Keras
21 StundenDiese von einem Ausbilder geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an technische Personen, die Deep-Learning-Modelle auf Bilderkennungsanwendungen anwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Installieren und konfigurieren Keras.
- Schnell Prototypen von Deep-Learning-Modellen zu erstellen.
- Ein Faltungsnetzwerk zu implementieren.
- Ein rekurrentes Netzwerk zu implementieren.
- Ein Deep-Learning-Modell sowohl auf einer CPU als auch auf GPU auszuführen.
Einführung in Stable Diffusion für die Text-zu-Bild-Generierung
21 StundenDiese von einem Dozenten geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenwissenschaftler, Ingenieure für maschinelles Lernen und Forscher im Bereich Computer Vision, die Stable Diffusion nutzen möchten, um hochwertige Bilder für eine Vielzahl von Anwendungsfällen zu erzeugen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Prinzipien von Stable Diffusion und seine Funktionsweise für die Bilderzeugung zu verstehen.
- Erstellen und Trainieren von Stable Diffusion-Modellen für Bilderzeugungsaufgaben.
- Anwendung von Stable Diffusion auf verschiedene Bilderzeugungsszenarien, wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung.
- Optimieren der Leistung und Stabilität von Stable Diffusion-Modellen.
Tensorflow Lite für Mikrocontroller
21 StundenDieses vom Trainer geleitete Live-Training in Schweiz (online oder vor Ort) richtet sich an Ingenieure, die lernen möchten, wie sie Maschinenlearning-Modelle auf sehr kleinen eingebetteten Geräten schreiben, laden und ausführen können.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- TensorFlow Lite zu installieren.
- Maschinenlearning-Modelle auf einem eingebetteten Gerät zu laden, um es zum Beispiel zur Erkennung von Sprache oder zur Klassifizierung von Bildern zu verwenden.
- Künstliche Intelligenz (AI) in Hardwaregeräte zu integrieren, ohne auf Netzwerkverbindungen angewiesen zu sein.