Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in Mistral im großen Maßstab

  • Überblick über Mistral Medium 3
  • Abwägung von Leistung und Kosten
  • Berücksichtigungen für den Unternehmensmastab

Deployment-Muster für LLMs

  • Serving-Topologien und Designentscheidungen
  • On-Premises- vs. Cloud-Deployments
  • Hybride und Multi-Cloud-Strategien

Techniken zur Inferenzoptimierung

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostensenkung
  • Nutzung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalierung von Kubernetes-Clustern für Inferenz
  • Lastverteilung und Traffic-Routing
  • Fehlertoleranz und Redundanz

Rahmenwerke für Kosten-Engineering

  • Messung der Kosteneffizienz der Inferenz
  • Gerechte Dimensionierung von Rechen- und Speicherkapazitäten
  • Überwachung und Alarmierung zur Optimierung

Sicherheit und Compliance in der Produktion

  • Sicherheit von Deployments und APIs
  • Berücksichtigung der Datenverwaltung
  • Regulatorische Compliance im Kosten-Engineering

Fallstudien und Best Practices

  • Referenzarchitekturen für Mistral im großen Maßstab
  • Lernerfahrungen aus Unternehmensdeployments
  • Zukunftstrends in der effizienten LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Starkes Verständnis der Deployments von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
  • Kenntnisse in Performance-Tuning und Kostenoptimierungsstrategien

Zielgruppe

  • Infrastruktur-Ingenieure
  • Cloud-Architekten
  • MLOps-Verantwortliche

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien