Schulungsübersicht
Einführung in die KI-Inferenz mit Docker
- Verständnis von KI-Inferenzworkloads
- Vorteile der containerisierten Inferenz
- Bereitstellungsszenarien und -bedingungen
Erstellen von KI-Inferenzcontainern
- Auswahl von Basiskomponenten und Frameworks
- Verpackung vortrainierter Modelle
- Strukturierung des Inferenzcodes für die Containerausführung
Sichern von containerisierten KI-Diensten
- Minimieren der Angriffsfläche von Containern
- Verwalten von Geheimnissen und sensiblen Dateien
- Sicherheitsstrategien für Netzwerke und API-Exposure
Portierbare Bereitstellungstechniken
- Optimieren von Images für die Portabilität
- Sicherstellen vorhersagbarer Laufzeitzustände
- Verwalten von Abhängigkeiten über Plattformen hinweg
Lokale Bereitstellung und Testung
- Ausführen von Diensten lokal mit Docker
- Debuggen von Inferenzcontainern
- Testen der Leistung und Zuverlässigkeit
Bereitstellung auf Servern und Cloud-VMs
- Anpassen von Containern für ferne Umgebungen
- Konfigurieren sicherer Serverzugänge
- Bereitstellen von Inferenz-APIs auf Cloud-VMs
Verwenden von Docker Compose für mehrservices KI-Systeme
- Orchestrieren der Inferenz mit unterstützenden Komponenten
- Verwalten von Umgebungsvariablen und Konfigurationen
- Skalieren von Microservices mit Compose
Überwachung und Wartung von KI-Inferenzdiensten
- Ansätze für Logging und Observabilität
- Erkennen von Fehlern in Inferenzpipelines
- Aktualisieren und Versionieren von Modellen im Produktionsumfeld
Zusammenfassung und Nächste Schritte
Voraussetzungen
- Grundverständnis von maschinellen Lernkonzepten
- Erfahrung mit Python oder Back-End-Entwicklung
- Vertrautheit mit grundlegenden Containerkonzepten
Zielgruppe
- Entwickler
- Back-End-Ingenieure
- Teams, die KI-Dienste bereitstellen
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung