Kontakt aufnehmen

Schulungsübersicht

Einführung in Mistral im Grossbetrieb

  • Übersicht über Mistral Medium 3
  • Tradeoffs zwischen Leistung und Kosten
  • Überlegungen zum Enterprise-Massstab

Bereitungungsmuster für LLMs

  • Serving-Topologien und Designentscheidungen
  • On-Premises- vs. Cloud-Bereitstellungen
  • Hybride und Multi-Cloud-Strategien

Inferenz-Optimierungstechniken

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostenreduktion
  • Nutzung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalieren von Kubernetes-Clustern für die Inferenz
  • Lastverteilung und Traffic-Routing
  • Fehlertoleranz und Redundanz

Cost-Engineering-Frameworks

  • Messen der Kosteneffizienz von Inference
  • Recht Dimensionierung von Rechen- und Speicherressourcen
  • Monitoring und Alarmierung zur Optimierung

Sicherheit und Compliance in der Produktion

  • Sichern von Bereitstellungen und APIs
  • Überlegungen zur Daten governance
  • Regulatorische Konformität im Cost Engineering

Case Studies und Best Practices

  • Referenzarchitekturen für Mistral im Grossbetrieb
  • Erfahrungen aus Enterprise-Bereitstellungen
  • Zukünftige Trends bei effizienter LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Tiefgehendes Verständnis der Bereitstellung von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
  • Vertrautheit mit Performance-Tuning- und Kostenoptimierungsstrategien

Zielgruppe

  • Infrastrukturingenieur:innen
  • Cloud-Architekt:innen
  • MLOps-Leitende
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien