Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Performance-Konzepte und Metriken
- Latenzzeit, Durchsatz, Energieverbrauch, Ressourcennutzung
- Systeme- vs. modellbezogene Engpässe
- Profilierung für Inferenz vs. Training
Profilierung auf Huawei Ascend
- Nutzung von CANN Profiler und MindInsight
- Kernele- und Operator-Diagnostik
- Offload-Muster und Speicherabbildung
Profilierung auf Biren GPU
- Performance-Monitoring-Funktionen des Biren SDK
- Kernel-Fusion, Speicheranpassung und Ausführungswarteschlangen
- Profiling unter Berücksichtigung von Leistungsaufnahme und Temperatur
Profilierung auf Cambricon MLU
- BANGPy- und Neuware-Performance-Tools
- Einblick auf Kernelebene und Log-Auswertung
- Integration des MLU-Profilers in Bereitstellungsfahrwerke
Optimierung auf Graphen- und Modellebene
- Strategien für Graph Pruning und Quantisierung
- Operator-Fusion und Neustrukturierung des Berechnungsgraphen
- Standardisierung der Eingabegröße und Batch-Tuning
Speicher- und Kernel-Optimierung
- Optimierung der Speicheranordnung und Wiederverwendung
- Effizientes Buffer-Management über verschiedene Chipsätze hinweg
- Tuning-Techniken auf Kernelebene je nach Plattform
Bewährte Verfahren für plattformübergreifende Anwendungen
- Performance-Portabilität: Abstraktionsstrategien
- Aufbau gemeinsamer Tuning-Pipelines für Multi-Chip-Umgebungen
- Beispiel: Tuning eines Objekterkennungsmodells auf Ascend, Biren und MLU
Zusammenfassung und nächste Schritte
Voraussetzungen
- Praxiserfahrung im Umgang mit Trainings- oder Bereitstellungs-Pipelines für KI-Modelle
- Verständnis der Compute-Prinzipien von GPU/MLU und der Modelloptimierung
- Grundkenntnisse in Performance-Profilierungstools und -Metriken
Zielgruppe
- Performance-Ingenieure
- Teams für Machine-Learning-Infrastruktur
- KI-Systemarchitekten
21 Stunden
