Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und Grundlagen der Diagnose
- Überblick über Fehlerszenarien in LLM-Systemen und spezifische Probleme mit Ollama
- Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
- Debugging-Werkzeuge: lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Nutzung
Reproduktion und Isolierung von Fehlern
- Techniken zur Erstellung minimaler Fehlerbeispiele und Seeds
- Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung von kontextbezogenen Fehlern
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltensbasierte Evaluierung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexitäts-Proxys
- Qualitative Bewertungen: Bewertung durch Menschen im Kreis (Human-in-the-loop) und Design von Bewertungsrastern
- Aufgabenspezifische Fälschungsprüfungen und Annahmekriterien
Automatisiertes Testing und Regression
- Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuites und Baselines mit goldenen Beispielen
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Observability und Überwachung
- Strukturiertes Logging, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätssignale
- Alarmierung, Dashboards und SLIs/SLOs für modellbasierte Dienste
Fortgeschrittene Ursachenanalyse
- Verfolgung über grafisch dargestellte Prompts, Tool-Aufrufe und Mehr-Runden-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Dataset-Debugging und Behebung von datensatzinduzierten Fehlern
Sicherheit, Robustheit und Maßnahmen zur Behebung
- Minderungsstrategien: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
- Post-Mortems, gewonnene Erkenntnisse und kontinuierliche Verbesserungsschleifen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassende Erfahrung im Aufbau und der Bereitstellung von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und Modell-Hosting
- Gewandtheit in Python, Docker und grundlegenden Observability-Tools
Zielgruppe
- KI-Ingenieure
- ML Ops-Profis
- QA-Teams, die für Produktionssysteme mit LLMs verantwortlich sind