Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und Grundlagen der Diagnose
- Überblick über Fehlerszenarien in LLM-Systemen und häufige Ollama-spezifische Probleme
- Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
- Debugging-Werkzeuge: Lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Umgebungen
Reproduktion und Isolierung von Fehlern
- Techniken zum Erstellen minimaler fehlerhafter Beispiele und Seeds
- Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung kontextbezogener Fehler
- Determinismus, Zufälligkeit und Steuerung nicht-deterministischen Verhaltens
Verhaltensbezogene Evaluierung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexitäts-Näherungswerte
- Qualitative Bewertungen: Bewertung durch Menschen im Prozess und Entwurf von Bewertungsrubriken
- Aufgabenspezifische Genauigkeitsprüfungen und Akzeptanzkriterien
Automatisierte Tests und Regressionsprüfung
- Unittests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuites und Baselines mit Golden-Beispielen
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Beobachtbarkeit und Überwachung
- Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätssignale
- Benachrichtigungen, Dashboards und SLIs/SLOs für modellgestützte Dienste
Erweiterte Ursachenanalyse
- Verfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Dataset-Debugging und Behandlung datenbedingter Ausfälle
Sicherheit, Robustheit und Remediationsstrategien
- Minderungsstrategien: Filterung, Grounding, Retrieval-Augmentation und Prompt-Gerüstbau
- Rollback, Canary- und Phasenweise Rollout-Muster für Modellupdates
- Post-mortems, gelernte Lektionen und Schleifen für kontinuierliche Verbesserung
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassende Erfahrung im Aufbau und in der Bereitstellung von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und Modell-Hosting
- Grundkenntnisse in Python, Docker und Basis-Beobachtungstools
Zielgruppe
- KI-Engineeure
- MLOps-Fachleute
- QA-Teams, die für Produktions-LLM-Systeme verantwortlich sind