Kontakt aufnehmen

Schulungsübersicht

Einführung in Open-Source-LLMs

  • Was sind Open-Weight-Modelle und warum sind sie wichtig
  • Überblick über LLaMA, Mistral, Qwen und andere Community-Modelle
  • Anwendungsfälle für private, lokale oder sichere Bereitstellungen

Einrichtung der Umgebung und Werkzeuge

  • Installation und Konfiguration der Bibliotheken Transformers, Datasets und PEFT
  • Auswahl der geeigneten Hardware für die Feinabstimmung
  • Laden vortrainierter Modelle von Hugging Face oder anderen Repositorys

Datenvorbereitung und Vorverarbeitung

  • Dataset-Formate (Instruction Tuning, Chat-Daten, rein textbasiert)
  • Tokenisierung und Sequenzverwaltung
  • Erstellung benutzerdefinierter Datasets und Data Loaders

Techniken der Feinabstimmung

  • Standard-Vollfeinabstimmung im Vergleich zu parametereffizienten Methoden
  • Anwendung von LoRA und QLoRA für eine effiziente Feinabstimmung
  • Nutzung der Trainer-API für schnelles Experimentieren

Bewertung und Optimierung des Modells

  • Bewertung feinabgestimmter Modelle mittels Generierungs- und Genauigkeitsmetriken
  • Umgang mit Überanpassung, Generalisierung und Validierungsdaten
  • Tipps zur Leistungsoptimierung und Protokollierung

Bereitstellung und privater Einsatz

  • Speichern und Laden von Modellen für die Inferenz
  • Bereitstellung feinabgestimmter Modelle in sicheren Unternehmensumgebungen
  • Lokale vs. Cloud-Bereitstellungsstrategien

Fallstudien und Anwendungsfälle

  • Beispiele für den enterprise-Einsatz von LLaMA, Mistral und Qwen
  • Bewältigung mehrsprachiger und domänenspezifischer Feinabstimmungen
  • Diskussion: Abwägungen zwischen offenen und geschlossenen Modellen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Verständnis von Large Language Models (LLMs) und deren Architektur
  • Erfahrung mit Python und PyTorch
  • Grundlegende Kenntnisse im Hugging-Face-Ökosystem

Zielgruppe

  • ML-Praktiker
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien