Feinabstimmung von Modellen und Grossen Sprachmodellen (LLMs) Schulung

Einführung ins Fine-Tuning

• Was ist Fine-Tuning?
• Anwendungsfälle und Vorteile des Fine-Tunings
• Überblick über vortrainierte Modelle und Transfer Learning

Vorbereitung auf das Fine-Tuning

• Sammlung und Bereinigung von Datensätzen
• Verständnis der aufgabenspezifischen Datenerfordernisse
• Explorative Datenanalyse und Vorverarbeitung

Fine-Tuning-Techniken

• Transfer Learning und Feature Extraktion
• Fine-Tuning von Transformern mit Hugging Face
• Fine-Tuning für überwachtes versus unüberwachtes Lernen

Fine-Tuning Grosser Sprachmodelle (LLMs)

• Anpassung von LLMs an NLP-Aufgaben (z. B. Textklassifizierung, Zusammenfassung)
• Schulung von LLMs mit benutzerdefinierten Datensätzen
• Steuerung des LLM-Verhaltens durch Prompt Engineering

Optimierung und Bewertung

• Hyperparameter-Tuning
• Bewertung der Modellleistung
• Umgang mit Overfitting und Underfitting

Skalierung der Fine-Tuning-Anstrengungen

• Fine-Tuning auf verteilten Systemen
• Nutzung cloudbasierter Lösungen zur Skalierbarkeit
• Fallstudien: Grossskalige Fine-Tuning-Projekte

Best Practices und Herausforderungen

• Best Practices für den Erfolg beim Fine-Tuning
• Häufige Herausforderungen und Troubleshooting
• Ethische Aspekte beim Fine-Tuning von KI-Modellen

Fortgeschrittene Themen (Optional)

• Fine-Tuning multimodaler Modelle
• Zero-Shot- und Few-Shot-Learning
• Erforschung der LoRA-Techniken (Low-Rank Adaptation)

Zusammenfassung und Nächste Schritte