Kontakt aufnehmen

Schulungsübersicht

Einführung in die Optimierung grosser Modelle

  • Überblick über Architekturen grosser Modelle
  • Herausforderungen beim Fine-Tuning grosser Modelle
  • Bedeutung kosteneffizienter Optimierung

Verteilte Trainingsmethoden

  • Einführung in Datenparallelismus und Modellparallelismus
  • Frameworks für verteiltes Training: PyTorch und TensorFlow
  • Skalierung über mehrere GPUs und Knoten hinweg

Modellquantisierung und Pruning

  • Verständnis von Quantisierungstechniken
  • Anwendung von Pruning zur Reduzierung der Modellgrösse
  • Abwägung zwischen Genauigkeit und Effizienz

Hardware-Optimierung

  • Auswahl der richtigen Hardware für Fine-Tuning-Aufgaben
  • Optimierung der GPU- und TPU-Nutzung
  • Einsatz spezialisierter Beschleuniger für grosse Modelle

Effizientes Datenmanagement

  • Strategien zum Management grosser Datensätze
  • Vorverarbeitung und Batching zur Leistungssteigerung
  • Daten-Augmentierungstechniken

Bereitstellung optimierter Modelle

  • Methoden zur Bereitstellung fine-tunter Modelle
  • Überwachung und Wartung der Modellleistung
  • Praktische Beispiele für die Bereitstellung optimierter Modelle

Fortgeschrittene Optimierungstechniken

  • Erkundung von Low-Rank-Adaptation (LoRA)
  • Nutzung von Adaptern für modulares Fine-Tuning
  • Zukunftsorientierte Trends in der Modelloptimierung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung mit Deep-Learning-Frameworks wie PyTorch oder TensorFlow
  • Vertrautheit mit grossen Sprachmodellen und deren Anwendungen
  • Verständnis von Konzepten des verteilten Rechnens

Zielgruppe

  • Machine-Learning-Ingenieure
  • Cloud-KI-Spezialisten
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien