Kontakt aufnehmen

Schulungsübersicht

Einführung in parametereffizientes Fine-Tuning (PEFT)

  • Motivation und Grenzen des vollständigen Fine-Tunings
  • Überblick über PEFT: Ziele und Vorteile
  • Anwendungen und Use Cases in der Industrie

LoRA (Low-Rank Adaptation)

  • Konzept und Intuition hinter LoRA
  • Implementierung von LoRA mit Hugging Face und PyTorch
  • Praxis: Fine-Tuning eines Modells mit LoRA

Adapter-Tuning

  • Funktionsweise von Adapter-Modulen
  • Integration in transformer-basierte Modelle
  • Praxis: Anwendung von Adapter-Tuning auf ein Transformer-Modell

Prefix-Tuning

  • Nutzung von Soft Prompts zum Fine-Tuning
  • Vorteile und Einschränkungen im Vergleich zu LoRA und Adaptern
  • Praxis: Prefix-Tuning für eine LLM-Aufgabe

Bewertung und Vergleich von PEFT-Methoden

  • Metriken zur Bewertung von Leistung und Effizienz
  • Abwägungen zwischen Trainingsgeschwindigkeit, Speichernutzung und Genauigkeit
  • Benchmark-Experimente und Interpretation der Ergebnisse

Bereitstellung fine-tunter Modelle

  • Speichern und Laden fine-tunter Modelle
  • Berücksichtigungen bei der Bereitstellung PEFT-basierter Modelle
  • Integration in Anwendungen und Pipelines

Best Practices und Erweiterungen

  • Kombination von PEFT mit Quantisierung und Distillation
  • Einsatz in ressourcenschonenden und mehrsprachigen Umgebungen
  • Zukünftige Richtungen und aktive Forschungsbereiche

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundkenntnisse im Machine Learning
  • Erfahrung mit grossen Sprachmodellen (LLMs)
  • Kenntnisse in Python und PyTorch

Zielgruppe

  • Data Scientists
  • KI-Ingenieure
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien