Kontakt aufnehmen

Schulungsübersicht

Einführung in Open-Source-LLMs

  • Was sind Offengewichtsmodelle und warum sind sie wichtig?
  • Überblick über LLaMA, Mistral, Qwen und andere Community-Modelle
  • Anwendungsfälle für private, On-Premise- oder sichere Bereitstellungen

Einrichtung der Umgebung und Tools

  • Installation und Konfiguration der Bibliotheken Transformers, Datasets und PEFT
  • Auswahl geeigneter Hardware für das Fine-Tuning
  • Laden vortrainierter Modelle von Hugging Face oder anderen Repositories

Datenvorbereitung und Vorverarbeitung

  • Datensatzformate (Instruction Tuning, Chat-Daten, reiner Text)
  • Tokenisierung und Sequenzverwaltung
  • Erstellung benutzerdefinierter Datensätze und Datenladeprogramme

Fine-Tuning-Techniken

  • Standard-Full-Fine-Tuning im Vergleich zu parameter-effizienten Methoden
  • Anwendung von LoRA und QLoRA für effizientes Fine-Tuning
  • Nutzung der Trainer API für schnelle Experimente

Modellbewertung und Optimierung

  • Bewertung feinjustierter Modelle mittels Generierungs- und Genauigkeitsmetriken
  • Umgang mit Überanpassung, Verallgemeinerungsfähigkeit und Validierungsdatensätzen
  • Tipps zur Leistungsoptimierung und Protokollierung

Bereitstellung und private Nutzung

  • Speichern und Laden von Modellen für die Inferenz
  • Bereitstellung feinjustierter Modelle in sicheren Unternehmensumgebungen
  • Strategien für On-Premise- vs. Cloud-Bereitstellung

Fallstudien und Anwendungsfälle

  • Beispiele für den Einsatz von LLaMA, Mistral und Qwen in Unternehmen
  • Bewältigung mehrsprachiger und domänenspezifischer Fine-Tunings
  • Diskussion: Abwägungen zwischen offenen und geschlossenen Modellen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundkenntnisse über grosse Sprachmodelle (LLMs) und deren Architektur
  • Erfahrung mit Python und PyTorch
  • Bekanntschaft mit dem Hugging-Face-Ökosystem auf grundlegendem Niveau

Zielgruppe

  • ML-Praktiker
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien