Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Deployment-Optionen
- Hosted-API vs. Self-Hosting: Abwägung der Vor- und Nachteile
- Muster für On-Premises, Edge und Air-Gapped-Umgebungen
- Einzelnes Modell vs. Modellportfolio
- Vergleich der Kosten pro Entscheidung
Hardware-Dimensionierung und Kapazität
- Speicherbedarf nach Parametanzahl
- Nur-CPU-Betrieb vs. GPU-Beschleunigung
- Planung von Parallelität und Durchsatz
- Reserven für wachsende Aufgabenlängen
Serving-Stacks
- Optionen mit vLLM und SGLang
- llama.cpp und GGUF-Ausführung
- Ollama für lokale Entwicklung
- Auswahl basierend auf der Form des Entscheidungsworkloads
Quantisierung ohne Verlust der Kalibrierung
- Präzisionsformate und Speicherersparnis
- Messung von Qualitäts- und Kalibrierungsverlust
- Tensor-spezifische und Wichtigkeits-basierte Varianten
- Annahmetests nach der Quantisierung
Latenz-Ingenieurwesen
- Median- vs. Tail-Latenz
- Latenzanstieg mit Kontextlänge
- Warm-Start und Modell-Caching
- Batching mehrerer Entscheidungsfragen
Edge- und ressourcensparende Umgebungen
- Kleine Entscheidungsmodelle auf CPU
- Deployment auf Apple Silicon und Embedded-Geräten
- Offline-Betrieb und Update-Strategie
- Verschlüsselungsgeschützter Weight-Verteilung in Air-Gapped-Umgebungen
Containerisierung und Skalierung
- Design von Images für Model Serving
- Verwaltung von Volumes und Caches
- Horizontale Skalierung und Routing
- Ressourcenlimits und GPU-Sharing
Beobachtbarkeit
- Metriken für Anfragen, Latenz und Fehler
- Monitoring der Konfidenzverteilung
- Nachverfolgung von Entscheidungsergebnissen und Eskalationen
- Alerting bei Kalibrierungsdrift
Versionierung und Rollout
- Versionierung von Modellen und Adaptern
- Shadow- und Canary-Deployment
- Pinned Modelldateien für die Prüfung
- Rollback-Verfahren
Sicherheit und Multitenancy
- Authentifizierung und Rate Limiting
- Tenant-Isolation für Prompts und Logs
- Netzwerk-Isolation und Egress-Kontrolle
- Audit-Logging von Entscheidungen
Voraussetzungen
- Linux-Administration und Erfahrung mit Containern.
- Vertrautheit mit Modell-Inferenzservern und GPU-Verwaltung.
- Grundlegendes Verständnis von REST-APIs, Load Balancing und Monitoring.
Zielgruppe
- MLOps- und Plattform-Engineers, die Inferenz-Infrastruktur betreiben
- SRE-Teams, die KI-Dienste unterstützen
- KI-Engineers, die Entscheidungsmodelle on-premises deployen
- Architekten, die air-gapped oder regulierte KI-Implementierungen planen
