Schulungsübersicht
Grundlagen der hybriden KI-Bereitstellung
- Verständnis von hybriden, Cloud- und Edge-Bereitstellungsmodellen
- Merkmale von KI-Workloads und Infrastruktureinschränkungen
- Auswahl der passenden Deployment-Topologie
Containerisierung von KI-Workloads mit Docker
- Erstellung von Inferenz-Containern für GPU und CPU
- Verwaltung sicherer Images und Registries
- Implementierung reproduzierbarer Umgebungen für KI
Bereitstellung von KI-Diensten in Cloud-Umgebungen
- Ausführung von Inferenzen auf AWS, Azure und GCP via Docker
- Bereitstellung von Cloud-Compute-Ressourcen für die Modellauslieferung
- Absicherung cloudbasierter KI-Endpunkte
Techniken für Edge- und On-Premise-Bereitstellungen
- Betrieb von KI auf IoT-Geräten, Gateways und Microservern
- Lightweight-Laufzeiten für Edge-Umgebungen
- Umgang mit intermittierender Konnektivität und lokaler Persistenz
Hybrides Networking und sichere Konnektivität
- Sichere Tunneling-Verbindungen zwischen Edge und Cloud
- Zertifikate, Secrets und tokenbasierte Zugänge
- Leistungsoptimierung für latenzarme Inferenzen
Orchestrierung verteilter KI-Bereitstellungen
- Einsatz von K3s, K8s oder leichtgewichtiger Orchestrierung für hybride Setups
- Service Discovery und Workload-Planung (Scheduling)
- Automatisierung von Rollout-Strategien über mehrere Standorte hinweg
Monitoring und Observability in allen Umgebungen
- Verfolgung der Inferenzleistung an verschiedenen Standorten
- Zentrale Protokollierung für hybride KI-Systeme
- Fehlererkennung und automatisierte Wiederherstellung
Skalierung und Optimierung hybrider KI-Systeme
- Skalierung von Edge-Clustern und Cloud-Knoten
- Optimierung der Bandbreitennutzung und des Cachings
- Ausgleich der Compute-Lasten zwischen Cloud und Edge
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlagenverständnis von Containerisierungskonzepten
- Erfahrung mit Linux-Befehlszeilenoperationen
- Vertrautheit mit Workflows zur Bereitstellung von KI-Modellen
Zielgruppe
- Architekturverantwortliche für Infrastruktur
- Site Reliability Engineers (SREs)
- Entwickler im Bereich Edge Computing und IoT
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung