Kontakt aufnehmen

Schulungsübersicht

Einführung in Grosse Sprachmodelle (LLMs)

  • Überblick über LLMs
  • Definition und Bedeutung
  • Anwendungen in der heutigen KI

Transformer-Architektur

  • Was ist ein Transformer und wie funktioniert er?
  • Hauptkomponenten und Eigenschaften
  • Embedding und Positional Encoding
  • Multi-Head-Aufmerksamkeit
  • Vorwärtsgerichtetes neuronales Netzwerk
  • Normalisierung und Restverbindungen

Transformer-Modelle

  • Selbst-Attention-Mechanismus
  • Encoder-Decoder-Architektur
  • Positionale Einbettungen
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Leistungsoptimierung und Fallstricke

  • Kontextlänge
  • Mamba und Zustandsraummodelle
  • Flash-Attention
  • Sparse Transformer
  • Vision Transformer
  • Bedeutung der Quantisierung

Verbesserung von Transformern

  • Textgenerierung mit abgerufenem Augmentation
  • Mixtur von Modellen
  • Tree of Thoughts

Fine-Tuning

  • Theorie der Niederrang-Adaption
  • Fine-Tuning mit QLora

Skalierungsgesetze und Optimierung in LLMs

  • Bedeutung von Skalierungsgesetzen für LLMs
  • Daten- und Modellgrössenskaling
  • Rechenskalisierung
  • Parameter-Effizienz-Skaling

Optimierung

  • Zusammenhang zwischen Modellgrösse, Datengrösse, Rechenbudget und Inferieranforderungen
  • Optimierung der Leistung und Effizienz von LLMs
  • Best Practices und Tools zum Training und Feinabstimmen von LLMs

Training und Fine-Tuning von LLMs

  • Schritte und Herausforderungen beim Training von LLMs von Grund auf
  • Datenerfassung und -wartung
  • Anforderungen an grosse Datenmengen, CPU und Speicher
  • Herausforderungen bei der Optimierung
  • Landschaft offener LLMs

Grundlagen des Verstärkenden Lernens (RL)

  • Einführung in Verstärkendes Lernen
  • Lernen durch positive Verstärkung
  • Definition und Kernkonzepte
  • Markovischer Entscheidungsprozess (MDP)
  • Dynamische Programmierung
  • Monte-Carlo-Methoden
  • Temporale-Differenz-Lernen

Tiefes Verstärkendes Lernen

  • Tiefe Q-Netze (DQN)
  • Proximale Policy-Optimierung (PPO)
  • Komponenten des Verstärkenden Lernens

Integration von LLMs und Verstärkendem Lernen

  • Kombination von LLMs mit Verstärkendem Lernen
  • Wie RL in LLMs eingesetzt wird
  • Verstärktes Lernen mit menschlichem Feedback (RLHF)
  • Alternativen zu RLHF

Fallstudien und Anwendungen

  • Anwendungen in der Praxis
  • Erfolgsgeschichten und Herausforderungen

Fortgeschrittene Themen

  • Fortschrittliche Techniken
  • Fortschrittliche Optimierungsmethoden
  • Aktuelle Forschungsarbeiten und Entwicklungen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis von maschinellem Lernen.

Zielgruppe

  • Datenwissenschaftler
  • Softwareentwickler
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien