Kontakt aufnehmen
 Dauer 35 Stunden

Schulungsübersicht

Einführung und Grundlagen der Diagnose

  • Überblick über Fehlerszenarien in LLM-Systemen und häufige Ollama-spezifische Probleme
  • Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Debugging-Werkzeuge: Lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Umgebungen

Reproduktion und Isolierung von Fehlern

  • Techniken zum Erstellen minimaler fehlerhafter Beispiele und Seeds
  • Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung kontextbezogener Fehler
  • Determinismus, Zufälligkeit und Steuerung nicht-deterministischen Verhaltens

Verhaltensbezogene Evaluierung und Metriken

  • Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexitäts-Näherungswerte
  • Qualitative Bewertungen: Bewertung durch Menschen im Prozess und Entwurf von Bewertungsrubriken
  • Aufgabenspezifische Genauigkeitsprüfungen und Akzeptanzkriterien

Automatisierte Tests und Regressionsprüfung

  • Unittests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressionssuites und Baselines mit Golden-Beispielen
  • CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates

Beobachtbarkeit und Überwachung

  • Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
  • Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätssignale
  • Benachrichtigungen, Dashboards und SLIs/SLOs für modellgestützte Dienste

Erweiterte Ursachenanalyse

  • Verfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Ablationsstudien
  • Datenherkunft, Dataset-Debugging und Behandlung datenbedingter Ausfälle

Sicherheit, Robustheit und Remediationsstrategien

  • Minderungsstrategien: Filterung, Grounding, Retrieval-Augmentation und Prompt-Gerüstbau
  • Rollback, Canary- und Phasenweise Rollout-Muster für Modellupdates
  • Post-mortems, gelernte Lektionen und Schleifen für kontinuierliche Verbesserung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfassende Erfahrung im Aufbau und in der Bereitstellung von LLM-Anwendungen
  • Vertrautheit mit Ollama-Workflows und Modell-Hosting
  • Grundkenntnisse in Python, Docker und Basis-Beobachtungstools

Zielgruppe

  • KI-Engineeure
  • MLOps-Fachleute
  • QA-Teams, die für Produktions-LLM-Systeme verantwortlich sind

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien