Kontakt aufnehmen

Schulungsübersicht

Einführung in das Skalieren von Ollama

  • Architektur und Skalierungsaspekte von Ollama
  • Häufige Engpässe in Mehrbenutzer-Bereitstellungen
  • Bewährte Praktiken für die Infrastrukturvorbereitung

Ressourcenzuweisung und GPU-Optimierung

  • Strategien für eine effiziente CPU/GPU-Nutzung
  • Betrachtungen zu Speicher und Bandbreite
  • Ressourcenbeschränkungen auf Containerebene

Bereitstellung mit Containern und Kubernetes

  • Containerisierung von Ollama mit Docker
  • Ausführen von Ollama in Kubernetes-Clustern
  • Lastverteilung und Dienstentdeckung

Auto-Scaling und Batching

  • Entwurf von Auto-Scaling-Richtlinien für Ollama
  • Batch-Inference-Techniken zur Optimierung des Durchsatzes
  • Abwägungen zwischen Latenz und Durchsatz

Latenzoptimierung

  • Profiling der Inference-Leistung
  • Caching-Strategien und Modellanlaufphase (Warm-up)
  • Verringern von E/A- und Kommunikationsüberkopf

Überwachung und Observability

  • Anbindung von Prometheus für Metriken
  • Erstellen von Dashboards mit Grafana
  • Alarmierung und Incident-Response für die Ollama-Infrastruktur

Kostenmanagement und Skalierungsstrategien

  • Kostenbewusste GPU-Zuweisung
  • Betrachtungen zu Cloud- vs. On-Premise-Bereitstellungen
  • Strategien für nachhaltiges Skalieren

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung in der Linux-Systemadministration
  • Verständnis von Containerisierung und Orchestrierung
  • Vertrautheit mit dem Bereitstellen von Machine-Learning-Modellen

Zielgruppe

  • DevOps-Ingenieure
  • ML-Infrastrukturteams
  • Site-Reliability-Engineers (SRE)
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien