Einführung in Large Language Models (LLMs) Schulung

Einführung

• Was sind Large Language Models (LLMs)?
• LLMs im Vergleich zu traditionellen NLP-Modellen
• Überblick über Funktionen und Architektur von LLMs
• Herausforderungen und Grenzen von LLMs

Verständnis von LLMs

• Der Lebenszyklus eines LLMs
• Funktionsweise von LLMs
• Hauptkomponenten eines LLMs: Encoder, Decoder, Attention, Embeddings usw.

Erste Schritte

• Einrichten der Entwicklungsumgebung
• Installation eines LLM als Entwicklungstool, z. B. Google Colab, Hugging Face

Arbeit mit LLMs

• Erforschung verfügbarer LLM-Optionen
• Erstellung und Nutzung eines LLMs
• Fine-Tuning eines LLMs auf einem eigenen Datensatz

Textzusammenfassung

• Verstehen der Aufgabe der Textzusammenfassung und deren Anwendungen
• Nutzung eines LLMs für extraktive und abstraktive Textzusammenfassung
• Bewertung der Qualität der generierten Zusammenfassungen mittels Metriken wie ROUGE, BLEU usw.

Fragenbeantwortung

• Verstehen der Aufgabe der Fragenbeantwortung und deren Anwendungen
• Nutzung eines LLMs für Questions Answering im offenen und geschlossenen Bereich
• Bewertung der Genauigkeit der generierten Antworten mittels Metriken wie F1, EM usw.

Textgenerierung

• Verstehen der Aufgabe der Textgenerierung und deren Anwendungen
• Nutzung eines LLMs für bedingte und unbedingte Textgenerierung
• Steuerung von Stil, Tonfall und Inhalt der generierten Texte mittels Parametern wie Temperature, top-k, top-p usw.

Integration von LLMs mit anderen Frameworks und Plattformen

• Nutzung von LLMs mit PyTorch oder TensorFlow
• Nutzung von LLMs mit Flask oder Streamlit
• Nutzung von LLMs mit Google Cloud oder AWS

Fehlerbehebung

• Verständnis der häufigen Fehler und Bugs in LLMs
• Nutzung von TensorBoard zur Überwachung und Visualisierung des Trainingsprozesses
• Nutzung von PyTorch Lightning zur Vereinfachung des Trainingscodes und Verbesserung der Performance
• Nutzung von Hugging Face Datasets zum Laden und Vorbereiten der Daten

Zusammenfassung und weitere Schritte