Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Einführung in Mistral im großen Maßstab
- Überblick über Mistral Medium 3
- Abwägung von Leistung und Kosten
- Berücksichtigungen für den Unternehmensmastab
Deployment-Muster für LLMs
- Serving-Topologien und Designentscheidungen
- On-Premises- vs. Cloud-Deployments
- Hybride und Multi-Cloud-Strategien
Techniken zur Inferenzoptimierung
- Batching-Strategien für hohen Durchsatz
- Quantisierungsmethoden zur Kostensenkung
- Nutzung von Beschleunigern und GPUs
Skalierbarkeit und Zuverlässigkeit
- Skalierung von Kubernetes-Clustern für Inferenz
- Lastverteilung und Traffic-Routing
- Fehlertoleranz und Redundanz
Rahmenwerke für Kosten-Engineering
- Messung der Kosteneffizienz der Inferenz
- Gerechte Dimensionierung von Rechen- und Speicherkapazitäten
- Überwachung und Alarmierung zur Optimierung
Sicherheit und Compliance in der Produktion
- Sicherheit von Deployments und APIs
- Berücksichtigung der Datenverwaltung
- Regulatorische Compliance im Kosten-Engineering
Fallstudien und Best Practices
- Referenzarchitekturen für Mistral im großen Maßstab
- Lernerfahrungen aus Unternehmensdeployments
- Zukunftstrends in der effizienten LLM-Inferenz
Zusammenfassung und nächste Schritte
Voraussetzungen
- Starkes Verständnis der Deployments von Machine-Learning-Modellen
- Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
- Kenntnisse in Performance-Tuning und Kostenoptimierungsstrategien
Zielgruppe
- Infrastruktur-Ingenieure
- Cloud-Architekten
- MLOps-Verantwortliche