Kontakt aufnehmen

Schulungsübersicht

Konzepte und Metriken der Performance

  • Latenz, Durchsatz, Stromverbrauch, Ressourcenauslastung
  • System- versus modellbezogene Engpässe
  • Profiling für Inference versus Training

Profiling auf Huawei Ascend

  • Nutzung von CANN Profiler und MindInsight
  • Diagnostics für Kernel und Operatoren
  • Muster des Offloadings und Speicherkartierung

Profiling auf Biren GPU

  • Leistungsüberwachungsfunktionen im Biren SDK
  • Kernel-Fusion, Speicher alignment und Ausführungs-Queues
  • Strom- und temperaturbewusstes Profiling

Profiling auf Cambricon MLU

  • BANGPy und Neuware-Leistungstools
  • Ansicht auf Kernel-Ebene und Interpretation von Logs
  • Integration des MLU-Profilers mit Bereitstellungs-Frameworks

Optimierung auf Graph- und Modellebene

  • Strategien für Graph-Pruning und Quantisierung
  • Operator-Fusion und Umstrukturierung des Berechnungsgraphs
  • Standardisierung der Eingabegrösse und Abstimmung des Batches

Speicher- und Kernel-Optimierung

  • Optimierung der Speicherlayout und Wiederverwendung
  • Effizientes Buffer-Management über Chipsätze hinweg
  • Kernel-optimierte Abstimmungstechniken pro Plattform

Plattformübergreifende Best Practices

  • Performance-Portabilität: Abstraktionsstrategien
  • Erstellung gemeinsamer Tuning-Pipelines für Multi-Chip-Umgebungen
  • Beispiel: Abstimmung eines Objekterkennungsmodells über Ascend, Biren und MLU hinweg

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung mit dem Training oder der Bereitstellung von KI-Modellen
  • Verständnis der GPU/MLU-Berechnungsprinzipien und der Modelloptimierung
  • Grundkenntnisse in Performance-Profilierungstools und -Metriken

Zielgruppe

  • Performance-Ingenieure
  • Teams für Machine-Learning-Infrastruktur
  • AI-Systemarchitekten
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien