Tiefe neuronale Netze verstehen Schulung

Teil 1 – Deep Learning und DNN-Konzepte

Einführung in KI, maschinelles Lernen & Deep Learning

• Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz, jenseits der Fantasien, die diesem Bereich anhaften
• Schwarmintelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: Evolution einer Population virtueller Agenten durch Selektion
• Übliche Maschinen des Lernens: Definition
• Arten von Aufgaben: überwachtes Lernen, unüberwachtes Lernen, verstärkendes Lernen
• Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
• Beispiele für Algorithmen des maschinellen Lernens: Lineare Regression, Naive Bayes, Random Tree
• Maschinelles Lernen VS Deep Learning: Probleme, bei denen maschinelles Lernen heute noch Stand der Technik ist (Random Forests & XGBoosts)

Grundkonzepte eines neuronalen Netzes (Anwendung: Mehrschicht-Perzeptron)

• Wiederholung der mathematischen Grundlagen
• Definition eines Neuronen-netzes: klassische Architektur, Aktivierung und
• Gewichtung früherer Aktivierungen, Tiefe eines Netzes
• Definition des Lernens eines Neuronen-netzes: Kostenfunktionen, Backpropagation, stochastische Gradientenabstieg, Maximum-Likelihood
• Modellierung eines neuronalen Netzes: Modellierung von Eingangs- und Ausgabedaten je nach Problemart (Regression, Klassifizierung ...). Fluch der Dimensionalität
• Unterscheidung zwischen Multifeature-Daten und Signal. Wahl einer Kostenfunktion in Abhängigkeit von den Daten
• Approximation einer Funktion durch ein Neuronen-netz: Vorstellung und Beispiele
• Approximation einer Verteilung durch ein Neuronen-netz: Vorstellung und Beispiele
• Datenaugmentierung: Wie man einen Datensatz ausbalanciert
• Generalisierung der Ergebnisse eines Neuronen-netzes
• Initialisierung und Regularisierung eines neuronalen Netzes: L1 / L2-Regularisierung, Batch-Normalisierung
• Optimierungs- und Konvergenzalgorithmen

Standard-ML/DL-Tools

Eine einfache Darstellung mit Vorteilen, Nachteilen, Position im Ökosystem und Nutzung ist geplant.

• Datenverwaltungstools: Apache Spark, Apache Hadoop Tools
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• DL-Hochstufentools: PyTorch, Keras, Lasagne
• DL-Tiefstufentools: Theano, Torch, Caffe, Tensorflow

Konvolutionelle neuronale Netze (CNN).

• Vorstellung der CNNs: Grundprinzipien und Anwendungen
• Grundoperation einer CNN: konvolutionelle Schicht, Verwendung eines Kernels,
• Padding & Stride, Generierung von Merkmalskarten, Pooling-Schichten. Erweiterungen in 1D, 2D und 3D
• Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifizierung gebracht haben
• Bilder: LeNet, VGG-Netzwerke, Network-in-Network, Inception, Resnet. Vorstellung der Innovationen, die durch jede Architektur ermöglicht wurden, und ihre allgemeineren Anwendungen (1x1-Konvolution oder Residuelle Verbindungen)
• Verwendung eines Aufmerksamkeitsmodells
• Anwendung auf einen gängigen Klassifizierungsfalls (Text oder Bild)
• CNNs für die Generierung: Superauflösung, Pixel-zu-Pixel-Segmentierung. Vorstellung von
• Hauptstrategien zur Vergrößerung von Merkmalskarten für die Bildgenerierung

Rekurrente neuronale Netze (RNN).

• Vorstellung der RNNs: Grundprinzipien und Anwendungen
• Grundoperation einer RNN: versteckte Aktivierung, Backpropagation durch die Zeit, Entfaltete Version
• Evolution zu Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory)
• Vorstellung der verschiedenen Zustände und der durch diese Architekturen bewirkten Entwicklungen
• Konvergenz und vanishing Gradient-Probleme
• Klassische Architekturen: Vorhersage einer Zeitreihe, Klassifizierung ...
• RNN-Encoder-Decoder-Architektur. Verwendung eines Aufmerksamkeitsmodells
• NLP-Anwendungen: Wort-/Zeichen-Codierung, Übersetzung
• Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

• Vorstellung der generativen Modelle, Verbindung zu CNNs
• Auto-Encoder: Dimensionsreduktion und begrenzte Generierung
• Variational Auto-Encoder: generatives Modell und Approximation der Verteilung eines gegebenen. Definition und Verwendung von Latent Space. Reparameterisierungstrick. Beobachtete Anwendungen und Grenzen
• Generative Adversarial Networks: Grundlagen
• Dual Network Architecture (Generator und Diskriminator) mit abwechselndem Lernen, verfügbare Kostenfunktionen
• Konvergenz einer GAN und darauf gestossene Schwierigkeiten
• Verbesserte Konvergenz: Wasserstein GAN, Began. Earth Moving Distance
• Anwendungen zur Generierung von Bildern oder Fotografien, Textgenerierung, Superauflösung

Deep Reinforcement Learning.

• Vorstellung des verstärkenden Lernens: Steuerung eines Agenten in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Verwendung eines neuronalen Netzes, um die Zustandsfunktion zu approximieren
• Deep Q Learning: Experience Replay und Anwendung auf die Steuerung eines Videospieles
• Optimierung der Lernpolitik. On-policy && off-policy. Actor-critic-Architektur. A3C
• Anwendungen: Steuerung eines einzelnen Videospieles oder eines digitalen Systems

Teil 2 – Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

Theano-Funktionen

• Eingaben, Ausgaben, Aktualisierungen, gegebene Werte

Training und Optimierung eines neuronalen Netzes mit Theano

• Modellierung eines neuronalen Netzes
• Logistische Regression
• Versteckte Schichten
• Training eines Netzes
• Berechnung und Klassifizierung
• Optimierung
• Log Loss

Testen des Modells

Teil 3 – DNN mit Tensorflow

TensorFlow-Grundlagen

• Erstellung, Initialisierung, Speichern und Wiederherstellen von TensorFlow-Variablen
• Füttern, Lesen und Vorladen von TensorFlow-Daten
• Wie man die TensorFlow-Infrastruktur zur schrittweisen Training von Modellen verwendet
• Visualisierung und Bewertung von Modellen mit TensorBoard

TensorFlow-Mechanik

• Datenvorbereitung
• Herunterladen
• Eingaben und Platzhalter
• Graphen aufbauen
  • Inferenz
  • Verlust
  • Training
• Modell trainieren
  • Der Graph
  • Die Sitzung
  • Trainingsloop
• Modell bewerten
  • Aufbau des Evaluationsgraphen
  • Evaluationsausgabe

Der Perzeptron

• Aktivierungsfunktionen
• Der Perzeptron-Lernalgorithmus
• Binäre Klassifizierung mit dem Perzeptron
• Dokumentklassifizierung mit dem Perzeptron
• Einschränkungen des Perzeptrons

Vom Perzeptron zu Support Vector Machines

• Kerne und der Kerntrick
• Maximale Marginklassifizierung und Stützvektoren

Künstliche neuronale Netze

• Nichtlineare Entscheidungsgrenzen
• Feedforward- und Feedback-künstliche neuronale Netze
• Mehrschichtige Perzeptrons
• Minimierung der Kostenfunktion
• Vorwärtsschaltung
• Rückwärtschaltung
• Verbesserung der Art und Weise, wie neuronale Netze lernen

Konvolutionelle neuronale Netze

• Ziele
• Modellarchitektur
• Prinzipien
• Code-Organisation
• Starten und Training des Modells
• Bewertung eines Modells

Grundlegende Einführungen zu den nachstehenden Modulen (Kurzbeschreibung, abhängig von der verfügbaren Zeit):

Tensorflow – Fortgeschrittene Nutzung

• Threading und Warteschlangen
• Verteilter TensorFlow
• Schreiben von Dokumentation und Teilen Ihres Modells
• Anpassung von Datenlesern
• Manipulieren von TensorFlow-Modelldateien

TensorFlow Serving

• Einführung
• Grundlagen Tutorial zur Bereitstellung
• Fortgeschrittenes Tutorial zur Bereitstellung
• Tutorial zur Bereitstellung des Inception-Modells