Schulungsübersicht
Einführung in die KI-Inferenz mit Docker
- Verständnis von KI-Inferenz-Workloads
- Vorteile von containerisierter Inferenz
- Deployment-Szenarien und Einschränkungen
Aufbau von KI-Inferenz-Containern
- Auswahl von Basisimages und Frameworks
- Verpackung vorinstallierter Modelle (Pretrained Models)
- Strukturierung des Inferenz-Codes für die Container-Ausführung
Absicherung von containerisierten KI-Diensten
- Minimierung der Angriffsfläche von Containern
- Verwaltung von Geheimnissen und sensiblen Dateien
- Sichere Netzwerk- und API-Freigabestrategien
Portable Deployment-Techniken
- Optimierung von Images für Portabilität
- Gewährleistung vorhersehbarer Laufzeitumgebungen
- Verwaltung von Abhängigkeiten über Plattformen hinweg
Lokales Deployment und Tests
- Ausführen von Diensten lokal mit Docker
- Debugging von Inferenz-Containern
- Testen von Leistung und Zuverlässigkeit
Deployment auf Servern und Cloud-VMs
- Anpassung von Containern für Remote-Umgebungen
- Konfiguration des sicheren Serverzugriffs
- Deployment von Inferenz-APIs auf Cloud-VMs
Einsatz von Docker Compose für Multi-Service-KI-Systeme
- Orchestrierung der Inferenz mit unterstützenden Komponenten
- Verwaltung von Umgebungsvariablen und Konfigurationen
- Skalierung von Mikrodiensten mit Compose
Überwachung und Wartung von KI-Inferenzdiensten
- Logging- und Observability-Ansätze
- Erkennung von Fehlern in Inferenz-Pipelines
- Aktualisierung und Versionierung von Modellen in der Produktionsumgebung
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis von KI-Konzepten
- Erfahrung mit Python oder Backend-Entwicklung
- Vertrautheit mit grundlegenden Container-Konzepten
Zielgruppe
- Entwickler
- Backend-Ingenieure
- Teams, die KI-Dienste bereitstellen
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung