Kontakt aufnehmen

Schulungsübersicht

Einführung in Mistral im Einsatz

  • Übersicht über Mistral Medium 3
  • Leistungs- vs. Kostenabwägungen
  • Berücksichtigungen für den unternehmerischen Einsatz in großem Maßstab

Bereitstellungsmuster für LLMs

  • Serving-Topologien und Designentscheidungen
  • On-Premises- vs. Cloud-Bereitstellungen
  • Hybride und Multi-Cloud-Strategien

Techniken zur Optimierung der Inferenz

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostensenkung
  • Verwendung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalierung von Kubernetes-Clustern für die Inferenz
  • Load-Balancing und Traffic-Routing
  • Fehlertoleranz und Redundanz

Frameworks für das Kostenengineering

  • Messung der Kosteneffizienz der Inferenz
  • Dimensionierung von Compute- und Speicherressourcen
  • Monitoring und Alarmierung zur Optimierung

Sicherheit und Compliance in der Produktion

  • Sicherung von Bereitstellungen und APIs
  • Daten-Governance-Aspekte
  • Regulatorische Compliance im Kostenengineering

Case Studies und Best Practices

  • Referenzarchitekturen für Mistral im Einsatz
  • Erfahrungen aus unternehmerischen Bereitstellungen
  • Zukünftige Trends in der effizienten LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfassendes Verständnis der Bereitstellung von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
  • Vertrautheit mit Leistungsanpassung und Strategien zur Kostenoptimierung

Zielgruppe

  • Infrastruktur-Ingenieure
  • Cloud-Architekten
  • MLOps-Verantwortliche
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien