Kontakt aufnehmen

Schulungsübersicht

Einführung und diagnostische Grundlagen

  • Überblick über Fehlermodi in LLM-Systemen und häufige, Ollama-spezifische Probleme
  • Aufbau reproduzierbarer Experimente und kontrollierter Umgebungen
  • Debugging-Werkzeuge: lokale Logs, Erfassung von Anfrage/Antwort-Paaren und Sandboxing

Reproduktion und Isolierung von Fehlern

  • Techniken zur Erstellung minimaler Fehlerbeispiele und Seeds
  • Stateful vs. stateless Interaktionen: Isolierung kontextbezogener Bugs
  • Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens

Verhaltensevaluation und Metriken

  • Quantitative Metriken: Genauigkeit, Varianten von ROUGE/BLEU, Kalibrierung und Perplexity-Proxies
  • Qualitative Evaluationen: Human-in-the-Loop-Bewertung und Erstellung von Bewertungsrubriken
  • Aufgabenspezifische Genauigkeitsprüfungen und Akzeptanzkriterien

Automatisierte Tests und Regression

  • Unit Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressionssuites und Golden-Esample-Baselines
  • CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates

Observability und Monitoring

  • Strukturierte Logs, verteilte Traces und Correlation IDs
  • Wichtige operative Metriken: Latenz, Token-Verbrauch, Fehlerraten und Qualitätsindikatoren
  • Alarmierung, Dashboards sowie SLIs/SLOs für modellbasierte Dienste

Fortgeschrittene Root-Cause-Analyse

  • Nachverfolgung durch graphierte Prompts, Tool-Aufrufe und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Ablationsstudien
  • Datenherkunft, Debugging von Datensätzen und Behandlung dateninduzierter Fehler

Sicherheit, Robustheit und Strategien zur Fehlerbehebung

  • Massnahmen: Filtering, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
  • Rollback-, Canary- und schrittweise Rollout-Muster für Modellupdates
  • Post-Mortems, gewonnene Erkenntnisse und kontinuierliche Verbesserungszyklen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfangreiche Erfahrung im Aufbau und Deployment von LLM-Anwendungen
  • Vertrautheit mit Ollama-Workflows und Model Hosting
  • Sicherheit im Umgang mit Python, Docker und grundlegender Observability-Software

Zielgruppe

  • KI-Ingenieur:innen
  • MLOps-Fachleute
  • QA-Teams, die für Produktions-LLM-Systeme zuständig sind
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien