Schulungsübersicht

Einführung in parameter-effiziente Fine-Tuning (PEFT)

  • Motivation und Einschränkungen der vollständigen Feinjustierung
  • Überblick über PEFT: Ziele und Vorteile
  • Anwendungen und Einsatzszenarien in der Industrie

LoRA (Low-Rank Adaptation)

  • Konzept und Intuition hinter LoRA
  • Implementierung von LoRA mit Hugging Face und PyTorch
  • Praxis: Feinjustierung eines Modells mit LoRA

Adapter-Tuning

  • Funktionsweise der Adapter-Module
  • Integration in transformer-basierte Modelle
  • Praxis: Anwendung von Adapter-Tuning auf ein Transformer-Modell

Prefix-Tuning

  • Nutzung von Soft-Prompts für die Feinjustierung
  • Vorteile und Einschränkungen im Vergleich zu LoRA und Adaptern
  • Praxis: Prefix-Tuning bei einer LLM-Aufgabe

Abschätzung und Vergleich von PEFT-Methoden

  • Metriken zur Bewertung der Leistung und Effizienz
  • Kompromisse in Trainingsgeschwindigkeit, Speicherverbrauch und Genauigkeit
  • Benchmark-Experimente und Interpretation der Ergebnisse

Deployment von feinjustierten Modellen

  • Speichern und Laden von feinjustierten Modellen
  • Überlegungen zum Deployment für PEFT-basierte Modelle
  • Integration in Anwendungen und Pipelines

Beste Praktiken und Erweiterungen

  • Kombination von PEFT mit Quantisierung und Destillation
  • Nutzung in Ressourcen- und mehrsprachigen Szenarien
  • Zukünftige Richtungen und aktive Forschungsgebiete

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Eine Grundverständnis der Maschinenlernkonzepte
  • Erfahrung mit großen Sprachmodellen (LLMs)
  • Bekanntschaft mit Python und PyTorch

Zielgruppe

  • Datenwissenschaftler
  • KI-Ingenieure
 14 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien