Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung und diagnostische Grundlagen
- Überblick über Fehlermodi in LLM-Systemen und häufige, Ollama-spezifische Probleme
- Aufbau reproduzierbarer Experimente und kontrollierter Umgebungen
- Debugging-Werkzeuge: lokale Logs, Erfassung von Anfrage/Antwort-Paaren und Sandboxing
Reproduktion und Isolierung von Fehlern
- Techniken zur Erstellung minimaler Fehlerbeispiele und Seeds
- Stateful vs. stateless Interaktionen: Isolierung kontextbezogener Bugs
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltensevaluation und Metriken
- Quantitative Metriken: Genauigkeit, Varianten von ROUGE/BLEU, Kalibrierung und Perplexity-Proxies
- Qualitative Evaluationen: Human-in-the-Loop-Bewertung und Erstellung von Bewertungsrubriken
- Aufgabenspezifische Genauigkeitsprüfungen und Akzeptanzkriterien
Automatisierte Tests und Regression
- Unit Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuites und Golden-Esample-Baselines
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Observability und Monitoring
- Strukturierte Logs, verteilte Traces und Correlation IDs
- Wichtige operative Metriken: Latenz, Token-Verbrauch, Fehlerraten und Qualitätsindikatoren
- Alarmierung, Dashboards sowie SLIs/SLOs für modellbasierte Dienste
Fortgeschrittene Root-Cause-Analyse
- Nachverfolgung durch graphierte Prompts, Tool-Aufrufe und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Debugging von Datensätzen und Behandlung dateninduzierter Fehler
Sicherheit, Robustheit und Strategien zur Fehlerbehebung
- Massnahmen: Filtering, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und schrittweise Rollout-Muster für Modellupdates
- Post-Mortems, gewonnene Erkenntnisse und kontinuierliche Verbesserungszyklen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfangreiche Erfahrung im Aufbau und Deployment von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und Model Hosting
- Sicherheit im Umgang mit Python, Docker und grundlegender Observability-Software
Zielgruppe
- KI-Ingenieur:innen
- MLOps-Fachleute
- QA-Teams, die für Produktions-LLM-Systeme zuständig sind
35 Stunden