Kontakt aufnehmen

Schulungsübersicht

Übersicht der Optimierungsmöglichkeiten von CANN

  • Abarbeitung der Inferenzleistung in CANN
  • Optimierungsziele für KI-Systeme am Rand und eingebettete Systeme
  • Verständnis der Auslastung der AI Cores und der Speicherallokation

Einsatz der Graph Engine zur Analyse

  • Einführung in die Graph Engine und den Ausführungspipeline
  • Visualisierung von Operator-Graphen und Laufzeitmetriken
  • Anpassung von Berechnungsgraphen zur Optimierung

Profiling-Tools und Leistungsmetriken

  • Nutzung des CANN Profiling Tools (Profiler) für die Lastanalyse
  • Analyse der Kernel-Ausführungszeit und Engpässe
  • Profiling von Speicherzugriffen und Tiling-Strategien

Entwicklung benutzerdefinierter Operatoren mit TIK

  • Übersicht über TIK und das Operator-Programmiermodell
  • Implementierung eines benutzerdefinierten Operators mittels TIK DSL
  • Testen und Benchmarking der Operator-Leistung

Fortgeschrittene Optimierung von Operatoren mit TVM

  • Einführung in die Integration von TVM mit CANN
  • Strategien zum automatischen Abstimmen (Auto-tuning) von Berechnungsgraphen
  • Wann und wie man zwischen TVM und TIK wechselt

Techniken zur Speicheroptimierung

  • Verwaltung der Speicheranordnung und Platzierung von Puffern
  • Methoden zur Reduzierung des On-Chip-Speicherverbrauchs
  • Bewährte Verfahren für asynchrone Ausführung und Wiederverwendung

Echtzeiteinsatz und Fallbeispiele

  • Fallbeispiel: Leistungsanpassung der Datenverarbeitungspipeline einer Smart-City-Kamera
  • Fallbeispiel: Optimierung des Inference-Stacks für autonome Fahrzeuge
  • Richtlinien für iteratives Profiling und kontinuierliche Verbesserung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfassendes Verständnis der Architekturen neuronaler Netzwerke und von Trainingsworkflows
  • Erfahrung mit dem Deployment von Modellen über CANN, TensorFlow oder PyTorch
  • Kenntnisse in der Linux-Befehlszeile (CLI), Shell-Skriptsprachen sowie Python-Programmierung

Zielgruppe

  • AI-Leistungsentwickler 
  • Spezialisten für die Optimierung der Inferenzleistung
  • Entwickler, die mit KI am Rand (Edge AI) oder Echtzeitsystemen arbeiten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien