Deep Neural Networks verstehen Schulung

Teil 1 – Konzepte von Deep Learning und DNN

Einführung in KI, maschinelles Lernen & Deep Learning

• Geschichte, Grundkonzepte und übliche Anwendungen der Künstlichen Intelligenz abseits der mit diesem Gebiet verbundenen Fantasien
• Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: Evolution einer Population virtueller Agenten durch Selektion
• Maschinelles Lernen im Allgemeinen: Definition
• Arten von Aufgaben: überwachtes Lernen, unüberwachtes Lernen, Verstärkungslernen
• Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
• Beispiele für maschinelle Lernalgorithmen: Lineare Regression, Naive Bayes, Random Tree
• Maschinelles Lernen vs. Deep Learning: Probleme, bei denen maschinelles Lernen heute noch den State-of-the-Art darstellt (Random Forests & XGBoosts)

Grundkonzepte eines neuronalen Netzes (Anwendung: Multi-Layer-Perceptron)

• Wiederholung der mathematischen Grundlagen.
• Definition eines Neuronennetzes: klassische Architektur, Aktivierung und
• Gewichtung vorheriger Aktivitäten, Tiefe eines Netzwerks
• Definition des Lernens eines Neuronennetzes: Kostenfunktionen, Backpropagation, Stochastic Gradient Descent, Maximum Likelihood.
• Modellierung eines neuronalen Netzes: Modellierung von Eingabe- und Ausgabedaten entsprechend der Art des Problems (Regression, Klassifizierung …). Fluch der Dimensionalität.
• Unterscheidung zwischen multi-FEATURE-Daten und Signalen. Wahl einer Kostenfunktion je nach Datentyp.
• Funktionsapproximation durch ein Neuronennetz: Präsentation und Beispiele
• Approximation einer Verteilung durch ein Neuronennetz: Präsentation und Beispiele
• Data Augmentation: Wie man einen Datensatz ausbalanciert
• Verallgemeinerung der Ergebnisse eines Neuronennetzes.
• Initialisierung und Regularisierung eines neuronalen Netzes: L1-/L2-Regularisierung, Batch Normalization
• Optimierungskonvergenz-Algorithmen

Standardtools für ML/DL

Eine einfache Präsentation mit Vorteilen, Nachteilen, Einordnung in das Ökosystem und Anwendungsfällen ist vorgesehen.

• Datenmanagement-Tools: Apache Spark, Apache Hadoop Tools
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• High-Level-DL-Frameworks: PyTorch, Keras, Lasagne
• Low-Level-DL-Frameworks: Theano, Torch, Caffe, Tensorflow

Convolutional Neural Networks (CNN).

• Präsentation der CNNs: Grundprinzipien und Anwendungen
• Grundlegende Funktionsweise eines CNN: Faltungsschicht, Verwendung eines Kernels,
• Padding & Stride, Feature-Map-Erzeugung, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.
• Präsentation der verschiedenen CNN-Architekturen, die den State-of-the-Art in der Klassifizierung erreicht haben
• Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Vorstellung der Innovationen, die jede Architektur gebracht hat, sowie ihrer allgemeineren Anwendungen (1x1-Konvolution oder residual Connections)
• Verwendung eines Attention-Modells.
• Anwendung auf einen allgemeinen Klassifizierungsfall (Text oder Bild)
• CNNs zur Generierung: Super Resolution, Pixel-zu-Pixel-Segmentierung. Präsentation von
• Hauptstrategien zur Erweiterung der Feature Maps für die Bildgenerierung.

Recurrent Neural Networks (RNN).

• Präsentation von RNNs: Grundprinzipien und Anwendungen.
• Grundlegende Funktionsweise des RNN: versteckte Aktivierung, Backpropagation through Time, entfaltete Version.
• Entwicklungen hin zu Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory).
• Vorstellung der verschiedenen Zustände und der von diesen Architekturen bringenden Evolutionen
• Konvergenz- und Vanishing-Gradient-Probleme
• Klassische Architekturen: Vorhersage einer Zeitreihe, Klassifizierung …
• RNN Encoder-Decoder-Architektur. Verwendung eines Attention-Modells.
• NLP-Anwendungen: Wort-/Zeichen-Kodierung, Übersetzung.
• Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

• Präsentation der generativen Modelle, Zusammenhang mit den CNNs
• Autoencoder: Dimensionsreduktion und eingeschränkte Generierung
• Variational Auto-encoder: Generatives Modell und Approximation der Verteilung einer gegebenen Datenmenge. Definition und Verwendung des Latent Space. Reparameterization Trick. Anwendungen und beobachtete Grenzen
• Generative Adversarial Networks: Grundlagen.
• Dual-Netzwerk-Architektur (Generator und Diskriminator) mit abwechselndem Lernen, verfügbare Kostenfunktionen.
• Konvergenz eines GAN und darauf auftretende Schwierigkeiten.
• Verbesserte Konvergenz: Wasserstein GAN, Began. Earth Mover Distance.
• Anwendungen zur Generierung von Bildern oder Fotos, Textgenerierung, Super Resolution.

Deep Reinforcement Learning.

• Präsentation von Reinforcement Learning: Steuerung eines Agenten in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Einsatz eines neuronalen Netzes zur Approximation der Zustand-Funktion
• Deep Q Learning: Experience Replay und Anwendung auf die Steuerung eines Videospiels.
• Optimierung der Lernrichtlinie. On-policy && off-policy. Actor-Critic-Architektur. A3C.
• Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.

Teil 2 – Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

Theano-Funktionen

• Eingaben, Ausgaben, Updates, Givens

Training und Optimierung eines neuronalen Netzes mit Theano

• Neuronale Netzwerk-Modellierung
• Logistische Regression
• Versteckte Schichten
• Training eines Netzwerks
• Berechnung und Klassifizierung
• Optimierung
• Log Loss

Testen des Modells

Teil 3 – DNN mit Tensorflow

TensorFlow-Grundlagen

• Erstellen, Initialisieren, Speichern und Wiederherstellen von TensorFlow-Variablen
• Zuführen, Lesen und Vorausladen von TensorFlow-Daten
• Nutzung der TensorFlow-Infrastruktur zum skalierbaren Trainieren von Modellen
• Visualisierung und Bewertung von Modellen mit TensorBoard

TensorFlow-Mechaniken

• Daten vorbereiten
• Herunterladen
• Eingaben und Platzhalter
• Aufbau der Graphs
  • Inference
  • Loss
  • Training
• Trainieren des Modells
  • Der Graph
  • Die Session
  • Trainings-Schleife
• Bewerten des Modells
  • Aufbau des Eval-Graphs
  • Eval-Ausgabe

Der Perceptron

• Aktivierungsfunktionen
• Der Perceptron-Lernalgorithmus
• Binäre Klassifizierung mit dem Perceptron
• Dokumentklassifizierung mit dem Perceptron
• Einschränkungen des Perceptrons

Vom Perceptron zu Support Vector Machines

• Kernel und der Kernel-Trick
• Maximum-Margin-Klassifizierung und Support Vectors

Künstliche Neuronale Netze

• Nichtlineare Entscheidungsgrenzen
• Feedforward- und Feedback-Künstliche Neuronale Netze
• Multi-Layer-Perceptrons
• Minimierung der Kostenfunktion
• Vorwärtsausbreitung
• Rückwärtsausbreitung
• Verbesserung der Art und Weise, wie neuronale Netze lernen

Convolutional Neural Networks

• Ziele
• Modellarchitektur
• Prinzipien
• Code-Organisation
• Starten und Trainieren des Modells
• Bewerten eines Modells

Grundlegende Einführungen zu den nachfolgenden Modulen (Kurze Einführungen je nach verfügbarem Zeitrahmen):

Tensorflow – Erweiterte Verwendung

• Threading und Queues
• Distributed TensorFlow
• Dokumentation schreiben und das Modell teilen
• Datencustomizer anpassen
• Manipulieren von TensorFlow-Modelldateien

TensorFlow Serving

• Einführung
• Grundlegendes Serving-Tutorial
• Erweitertes Serving-Tutorial
• Inception-Modell Serving Tutorial