Optimierung der Leistung von neuronalen Netzen mit dem CANN SDK Schulung

Überblick über die Optimierungsfähigkeiten von CANN

• Wie Inferenzleistung in CANN verarbeitet wird
• Optimierungsziele für Edge- und eingebettete KI-Systeme
• Verständnis der Auslastung der AI Core und der Speicherverwaltung

Nutzung der Graph Engine für die Analyse

• Einführung in die Graph Engine und die Ausführungspipeline
• Visualisierung von Operatorenngraphen und Laufzeitmetriken
• Anpassung von Rechengraphen zur Optimierung

Profiling-Tools und Leistungskennzahlen

• Nutzung des CANN Profiling Tools (Profiler) zur Workload-Analyse
• Analysierung der Kernel-Ausführungszeit und Engpässe
• Profiling des Speicherzugriffs und Tiling-Strategien

Entwicklung benutzerdefinierter Operatoren mit TIK

• Überblick über TIK und das Operatorenprogrammiermodell
• Implementierung eines benutzerdefinierten Operators mit TIK DSL
• Testen und Benchmarking der Operator-Leistung

Fortgeschrittene Operator-Optimierung mit TVM

• Einführung in die Integration von TVM mit CANN
• Auto-Tuning-Strategien für Rechengraphen
• Wann und wie zwischen TVM und TIK gewechselt werden sollte

Techniken zur Speicheroptimierung

• Verwaltung des Speicherlayouts und der Pufferplatzierung
• Techniken zur Reduzierung des On-Chip-Speicherbedarfs
• Best Practices für asynchrone Ausführung und Wiederverwendung

Deployment in der Praxis und Fallstudien

• Fallstudie: Leistungs-Tuning für die Kamerapipeline intelligenter Städte
• Fallstudie: Optimierung des Inferenz-Stacks für autonome Fahrzeuge
• Leitlinien für iteratives Profiling und kontinuierliche Verbesserung

Zusammenfassung und nächste Schritte