Kontakt aufnehmen

Schulungsübersicht

Grundlagen der Tencent-Hunyuan-Produktionsbereitstellung

  • Überblick über Bereitstellungszenarien für Tencent-Hunyuan-Modelle
  • Merkmale von grossen Modellen und MoE-Modellen in der Produktion
  • Häufige Engpässe bei Latenz, Durchsatz und Kosten
  • Definition von Service-Level-Zielen für Inferencing-Arbeitlasten

Bereitstellungsarchitektur und Serving-Flow

  • Kernkomponenten eines Produktions-Inferencing-Stacks
  • Auswahl zwischen containerisierter, On-Premise- und Cloud-Bereitstellungsmodellen
  • Grundlagen des Modellladens, der Anforderungsverteilung und der GPU-Zuteilung
  • Design für Zuverlässigkeit und Betriebseinfachheit

Praxis der Latenzoptimierung

  • Einsatz optimierter Inferencing-Engines wie TensorRT, wo applicable
  • KV-Cache-Konzepte und praktisches Cache-Tuning
  • Reduzierung von Startup-, Warmup- und Antwort-Overhead
  • Messung der Zeit bis zum ersten Token (Time to First Token) und der Tokengenerierungsrate

Durchsatz, Batching und GPU-Effizienz

  • Strategien für Continuous Batching und Request Batching
  • Verwaltung von Koncurrentität und Warteschlangenverhalten
  • Verbesserung der GPU-Auslastung ohne Beeinträchtigung der Benutzererfahrung
  • Umgang mit Long-Context-Anforderungen und gemischten Arbeitlasten

Quantisierung und Kostenkontrolle

  • Warum Quantisierung für die Produktionsbereitstellung wichtig ist
  • Praktische Abwägungen zwischen FP16, INT8 und anderen gängigen Präzisionsoptionen
  • Balance zwischen Modellqualität, Latenz und Infrastrukturkosten
  • Erstellung einer einfachen Checkliste zur Kostenoptimierung

Betrieb, Überwachung und Bereitschaftsprüfung

  • Skalierungsauslöser für Inferencing-Dienste
  • Überwachung von Latenz, Durchsatz, Cache-Nutzung und GPU-Gesundheit
  • Grundlagen des Logging, Alerting und Incident Response
  • Überprüfung einer Referenzbereitstellung und Erstellung eines Verbesserungsplans

Voraussetzungen

  • Grundlegendes Verständnis von Bereitstellungs- und Inferencing-Arbeitsabläufen für grosse Sprachmodelle (LLMs)
  • Erfahrung mit Containern, Cloud- oder On-Premise-Infrastrukturen sowie API-basierten Diensten
  • Praktische Kenntnisse in Python oder Systemengineering-Aufgaben

Zielgruppe

  • ML-Ingenieurinnen und -Ingenieure, die LLMs in der Produktion bereitstellen
  • Platform-Ingenieurinnen und -Ingenieure, die für GPU-basierte Inferencing-Dienste zuständig sind
  • Solution-Architektinnen und -Architekten, die skalierbare KI-Bereitstellungsplattformen entwerfen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien