Schulungsübersicht

Einführung und diagnostische Grundlagen

  • Übersicht über Ausfallmodi in LLM-Systemen und häufige Ollama-spezifische Probleme
  • Erstellung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Fehlerbehebungsinstrumentarium: lokale Protokolle, Anfrage/Antwort-Aufzeichnungen und Sandboxen

Reproduzieren und Isolieren von Fehlern

  • Techniken zur Erstellung minimaler fehlerhafter Beispiele und Keimzellen
  • Zustandsbezogene vs. zustandslose Interaktionen: Isolierung kontextabhängiger Fehler
  • Determinismus, Zufälligkeit und Kontrolle nichtdeterministischen Verhaltens

Verhaltensevaluation und Metriken

  • Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxy
  • Kognitive Evaluierungen: menschengesteuerte Bewertung und Rubrikdesign
  • Aufgabenbezogene Fidelizeitprüfungen und Annahmekriterien

Automatisierte Tests und Regressionen

  • Unit-Tests für Anforderungen und Komponenten, Szenariotests und End-to-End-Tests
  • Erstellung von Regressionspaketen und Baselines mit Referenzbeispielen
  • CI/CD-Integration für Ollama-Modellaktualisierungen und automatisierte Validierungsgatter

Beobachtbarkeit und Überwachung

  • Gestrukturiertes Protokollieren, verteilte Spuren und Korrelations-IDs
  • Kritische operativen Metriken: Latenz, Token-Nutzung, Fehlerhäufigkeiten und Qualitätsindikatoren
  • Warnmeldungen, Dashboards und SLIs/SLOs für modellbasierte Dienste

Erweiterte Ursachenanalyse

  • Aufzeichnen durch grafische Anforderungen, Werkzeugaufrufe und multi-turn Flows
  • Vergleichende A/B-Diagnose und Ablationsstudien
  • Datenherkunft, Datensatzdebugging und Lösung von datenzusammenhangbedingten Ausfällen

Sicherheit, Robustheit und Sanierungskonzepte

  • Mitigationen: Filtern, Verankerung, Abrufverbesserungen und Anforderungsunterstützung
  • Rücksicherung, Kanarien und phasenweise Rollout-Muster für Modellaktualisierungen
  • Post-mortems, ausgedehnte Lektionen und kontinuierliche Verbesserungsschleifen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung im Erstellen und Bereitstellen von LLM-Anwendungen
  • Bekanntschaft mit Ollama-Workflows und Modell.Hosting
  • Kenntnisse in Python, Docker und grundlegendem Observability-Tooling

Zielpublikum

  • AI-Ingenieure
  • ML Ops Fachkräfte
  • QA-Teams, die für ProduktionsLLM-Systeme verantwortlich sind
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien