Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in Open-Source LLMs
- Was sind open-weight Modelle und warum sie wichtig sind
- Übersicht über LLaMA, Mistral, Qwen und andere Community-Modelle
- Anwendungsbereiche für private, vor Ort oder sichere Bereitstellungen
Umgebungseinstellungen und Werkzeuge
- Installieren und Konfigurieren von Transformers, Datasets und PEFT Bibliotheken
- Auswählen geeigneter Hardware für die Feinabstimmung
- Laden vortrainierter Modelle aus Hugging Face oder anderen Repositorys
Datenvorbereitung und Vorkennzeichnung
- Datensatzformate (Instruktionen, Chatdaten, rein textbasiert)
- Tokenisierung und Sequenzverwaltung
- Erstellen benutzerdefinierter Datensätze und Dataloaders
Fine-Tuning Techniken
- Standardvolle Feinabstimmung im Vergleich zu parameter-effizienten Methoden
- Anwendung von LoRA und QLoRA für effiziente Feinabstimmung
- Nutzung des Trainer API für schnelles Experimentieren
Modellaufzeitbewertung und Optimierung
- Bewerten feinabgestimmter Modelle mit Generierungs- und Genauigkeitsmetriken
- Verwaltung von Overfitting, Verallgemeinerung und Validierungssets
- Tips für Leistungsoptimierung und Logging
Bereitstellung und Private Nutzung
- Speichern und Laden von Modellen für Inferenz
- Bereitstellen feinabgestimmter Modelle in sicheren Unternehmensumgebungen
- Strategien für vor Ort im Vergleich zu Cloud-Bereitstellungen
Fallstudien und Use Cases
- Beispiele der Unternehmensnutzung von LLaMA, Mistral und Qwen
- Bearbeitung multilingualer und domänenspezifischer Feinabstimmungen
- Diskussion: Handelsabkommen zwischen offenen und geschlossenen Modellen
Zusammenfassung und Nächste Schritte
Voraussetzungen
- Eine Verständnis von großen Sprachmodellen (LLMs) und ihrer Architektur
- Erfahrung mit Python und PyTorch
- Basiskenntnisse im Hugging Face-Ökosystem
Zielgruppe
- ML-Praktiker
- AI-Entwickler
14 Stunden