Schulungsübersicht
Der Kurs ist in drei verschiedene Tage unterteilt, wobei der dritte optional ist.
Tag 1 – Machine Learning & Deep Learning: theoretische Konzepte
1. Einführung IA, Machine Learning & Deep Learning
- Geschichte, grundlegende Konzepte und übliche Anwendungen der künstlichen Intelligenz, weit entfernt von den Fantasien dieses Fachgebiets
- Kollektive Intelligenz: gesammeltes Wissen, das von zahlreichen virtuellen Agenten geteilt wird
- Genetische Algorithmen: Entwicklung einer Population virtueller Agenten durch Selektion
- Machine Learning üblich: Definition.
- Arten von Aufgaben: überwachtes Lernen, unüberwachtes Lernen, verstärkendes Lernen
- Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
- Beispiele für Algorithmen Machine Learning: Lineare Regression, Naive Bayes, Random Tree
- Maschinelles Lernen vs. Deep Learning: Probleme, bei denen maschinelles Lernen heute noch der Stand der Technik ist (Random Forests & XGBoosts)
2. Grundlegende Konzepte eines neuronalen Netzwerks (Anwendung: mehrschichtiges Perzeptron)
- Erinnerung an mathematische Grundlagen.
- Definition eines neuronalen Netzwerks: klassische Architektur, Aktivierungs- und Gewichtungsfunktionen früherer Aktivierungen, Tiefe eines Netzwerks
- Definition des Lernens eines neuronalen Netzwerks: Kostenfunktionen, Rückausbreitung, stochastischer Gradientenabstieg, maximale Wahrscheinlichkeit.
- Modellierung eines neuronalen Netzwerks: Modellierung von Eingabe- und Ausgabedaten entsprechend der Art des Problems (Regression, Klassifizierung usw.). Fluch der Dimensionalität. Unterscheidung zwischen Multi-Feature-Daten und Signal. Auswahl einer Kostenfunktion entsprechend den Daten.
- Approximieren Sie eine Funktion mithilfe eines neuronalen Netzwerks: Präsentation und Beispiele
- Approximation einer Verteilung mithilfe eines neuronalen Netzwerks: Präsentation und Beispiele
- Datenerweiterung: So balancieren Sie einen Datensatz
- Verallgemeinerung der Ergebnisse eines neuronalen Netzwerks.
- Initialisierungen und Regularisierungen eines neuronalen Netzwerks: L1/L2-Regularisierung, Batch-Normalisierung ...
- Optimierungen und Konvergenzalgorithmen.
3. Gängige ML/DL-Tools
Geplant ist eine einfache Darstellung mit Vor- und Nachteilen, Stellung im Ökosystem und Nutzung.
- Datenverwaltungstools: Apache Spark, Apache Hadoop
- Übliche Tools Machine Learning: Numpy, Scipy, Sci-kit
- Frameworks DL heute Level: PyTorch, Keras, Lasagne
- Low-Level-DL-Frameworks: Theano, Torch, Caffe, Tensorflow
Tag 2 – Faltungs- und wiederkehrende Netzwerke
4. Faltung Neural Networks (CNN).
- Präsentation von CNNs: Grundprinzipien und Anwendungen
- Grundlegende Funktionsweise eines CNN: Faltungsschicht, Verwendung eines Kernels, Padding & Stride, Generierung von Feature-Maps, Schichten vom Typ „Pooling“. 1D-, 2D- und 3D-Erweiterungen.
- Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik bei der Bildklassifizierung gebracht haben: LeNet, VGG Networks, Network in Network, Inception, Resnet. Präsentation der Innovationen, die jede Architektur mit sich bringt, und ihrer globaleren Anwendungen (1x1-Faltung oder Restverbindungen)
- Verwendung eines Aufmerksamkeitsmodells.
- Anwendung auf ein übliches Klassifizierungsszenario (Text oder Bild)
- CNNs zur Generierung: superauflösende, pixelweise Segmentierung. Vorstellung der wichtigsten Strategien zur Erweiterung von Feature-Maps zur Generierung eines Bildes.
5. Wiederkehrend Neural Networks (RNN).
- Präsentation von RNNs: Grundprinzipien und Anwendungen.
- Grundlegende Funktion des RNN: versteckte Aktivierung, Rückwärtsausbreitung durch die Zeit, entfaltete Version.
- Entwicklungen in Richtung GRU (Gated Recurrent Units) und LSTM (Long Short Term Memory). Darstellung der unterschiedlichen Zustände und der durch diese Architekturen hervorgerufenen Entwicklungen
- Konvergenz- und verschwindende Gradientenprobleme
- Arten klassischer Architekturen: Vorhersage einer Zeitreihe, Klassifizierung...
- RNN-Encoder-Decoder-Architektur. Verwendung eines Aufmerksamkeitsmodells.
- Anwendungen NLP: Wort-/Zeichenkodierung, Übersetzung.
- Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.
Tag 3 – Generationenmodelle und Reinforcement Learning
6. Generationsmodelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).
- Präsentation von Generationenmodellen, Link zu CNNs, die am 2. Tag gesehen wurden
- Automatische Kodierung: Dimensionsreduzierung und begrenzte Generierung
- Variationaler Auto-Encoder: Generationsmodell und Annäherung an die Datenverteilung. Definition und Nutzung des latenten Raums. Reparametrisierungstrick. Anwendungen und eingehaltene Grenzen
- Generative Adversarial Networks: Grundprinzipien. Zwei-Netzwerk-Architektur (Generator und Diskriminator) mit alternierenden Lern- und Kostenfunktionen verfügbar.
- Konvergenz eines GAN und aufgetretene Schwierigkeiten.
- Verbesserte Konvergenz: Wasserstein GAN, BeGAN. Erdbewegungsentfernung.
- Anwendungen zum Generieren von Bildern oder Fotos, zum Generieren von Text, Superauflösung.
7. Tief Reinforcement Learning.
- Darstellung des Reinforcement Learning: Kontrolle eines Agenten in einer Umgebung, die durch einen Zustand und mögliche Aktionen definiert ist
- Verwendung eines neuronalen Netzwerks zur Approximation der Zustandsfunktion
- Deep Q Learning: Erleben Sie die Wiederholung und Anwendung auf die Steuerung eines Videospiels.
- Optimierungen der Lernpolitik. Richtlinienkonform und nicht richtlinienkonform. Akteurkritische Architektur. A3C.
- Anwendungen: Steuerung eines einfachen Videospiels oder eines digitalen Systems.
Voraussetzungen
Ingenieursniveau