Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in Mistral im Grossbetrieb
- Übersicht über Mistral Medium 3
- Tradeoffs zwischen Leistung und Kosten
- Überlegungen zum Enterprise-Massstab
Bereitungungsmuster für LLMs
- Serving-Topologien und Designentscheidungen
- On-Premises- vs. Cloud-Bereitstellungen
- Hybride und Multi-Cloud-Strategien
Inferenz-Optimierungstechniken
- Batching-Strategien für hohen Durchsatz
- Quantisierungsmethoden zur Kostenreduktion
- Nutzung von Beschleunigern und GPUs
Skalierbarkeit und Zuverlässigkeit
- Skalieren von Kubernetes-Clustern für die Inferenz
- Lastverteilung und Traffic-Routing
- Fehlertoleranz und Redundanz
Cost-Engineering-Frameworks
- Messen der Kosteneffizienz von Inference
- Recht Dimensionierung von Rechen- und Speicherressourcen
- Monitoring und Alarmierung zur Optimierung
Sicherheit und Compliance in der Produktion
- Sichern von Bereitstellungen und APIs
- Überlegungen zur Daten governance
- Regulatorische Konformität im Cost Engineering
Case Studies und Best Practices
- Referenzarchitekturen für Mistral im Grossbetrieb
- Erfahrungen aus Enterprise-Bereitstellungen
- Zukünftige Trends bei effizienter LLM-Inferenz
Zusammenfassung und nächste Schritte
Voraussetzungen
- Tiefgehendes Verständnis der Bereitstellung von Machine-Learning-Modellen
- Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
- Vertrautheit mit Performance-Tuning- und Kostenoptimierungsstrategien
Zielgruppe
- Infrastrukturingenieur:innen
- Cloud-Architekt:innen
- MLOps-Leitende
14 Stunden