Grosse Sprachmodelle (LLMs) und Verstärkendes Lernen (RL) Schulung

Einführung in Grosse Sprachmodelle (LLMs)

• Überblick über LLMs
• Definition und Bedeutung
• Anwendungen in der heutigen KI

Transformer-Architektur

• Was ist ein Transformer und wie funktioniert er?
• Hauptkomponenten und Eigenschaften
• Embedding und Positional Encoding
• Multi-Head-Aufmerksamkeit
• Vorwärtsgerichtetes neuronales Netzwerk
• Normalisierung und Restverbindungen

Transformer-Modelle

• Selbst-Attention-Mechanismus
• Encoder-Decoder-Architektur
• Positionale Einbettungen
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Leistungsoptimierung und Fallstricke

• Kontextlänge
• Mamba und Zustandsraummodelle
• Flash-Attention
• Sparse Transformer
• Vision Transformer
• Bedeutung der Quantisierung

Verbesserung von Transformern

• Textgenerierung mit abgerufenem Augmentation
• Mixtur von Modellen
• Tree of Thoughts

Fine-Tuning

• Theorie der Niederrang-Adaption
• Fine-Tuning mit QLora

Skalierungsgesetze und Optimierung in LLMs

• Bedeutung von Skalierungsgesetzen für LLMs
• Daten- und Modellgrössenskaling
• Rechenskalisierung
• Parameter-Effizienz-Skaling

Optimierung

• Zusammenhang zwischen Modellgrösse, Datengrösse, Rechenbudget und Inferieranforderungen
• Optimierung der Leistung und Effizienz von LLMs
• Best Practices und Tools zum Training und Feinabstimmen von LLMs

Training und Fine-Tuning von LLMs

• Schritte und Herausforderungen beim Training von LLMs von Grund auf
• Datenerfassung und -wartung
• Anforderungen an grosse Datenmengen, CPU und Speicher
• Herausforderungen bei der Optimierung
• Landschaft offener LLMs

Grundlagen des Verstärkenden Lernens (RL)

• Einführung in Verstärkendes Lernen
• Lernen durch positive Verstärkung
• Definition und Kernkonzepte
• Markovischer Entscheidungsprozess (MDP)
• Dynamische Programmierung
• Monte-Carlo-Methoden
• Temporale-Differenz-Lernen

Tiefes Verstärkendes Lernen

• Tiefe Q-Netze (DQN)
• Proximale Policy-Optimierung (PPO)
• Komponenten des Verstärkenden Lernens

Integration von LLMs und Verstärkendem Lernen

• Kombination von LLMs mit Verstärkendem Lernen
• Wie RL in LLMs eingesetzt wird
• Verstärktes Lernen mit menschlichem Feedback (RLHF)
• Alternativen zu RLHF

Fallstudien und Anwendungen

• Anwendungen in der Praxis
• Erfolgsgeschichten und Herausforderungen

Fortgeschrittene Themen

• Fortschrittliche Techniken
• Fortschrittliche Optimierungsmethoden
• Aktuelle Forschungsarbeiten und Entwicklungen

Zusammenfassung und nächste Schritte