Kontakt aufnehmen

Schulungsübersicht

Einführung in die Entwicklung benutzerdefinierter Operatoren

  • Warum baut man benutzerdefinierte Operoren ein? Anwendungsfälle und Beschränkungen
  • Struktur der CANN-Laufzeitumgebung und Punkte zur Integration von Operatoren
  • Überblick über TBE, TIK und TVM im Huawei-KI-Ökosystem

Niedrigstufige Operatorprogrammierung mit TIK

  • Verständnis des TIK-Programmiermodells und der unterstützten APIs
  • Speicherverwaltung und Tiling-Strategie in TIK
  • Erstellen, Kompilieren und Registrieren eines benutzerdefinierten Operators mit CANN

Testen und Validieren von benutzerdefinierten Operatoren

  • Unit-Tests und Integrations tests von Operatoren im Graphen
  • Debugging von Performance-Problemen auf Kernel-Ebene
  • Visualisierung der Operator-Ausführung und des Pufferverhaltens

Scheduling und Optimierung auf TVM-Basis

  • Überblick über TVM als Compiler für Tensor-Operatoren
  • Schreiben eines Schedules für einen benutzerdefinierten Operator in TVM
  • TVM-Tuning, Benchmarking und Codegenerierung für Ascend

Integration mit Frameworks und Modellen

  • Registrierung von benutzerdefinierten Operatoren für MindSpore und ONNX
  • Verifikation der Modellintegrität und des Fallback-Verhaltens
  • Unterstützung mehrerer Operator-Graphen mit Mixed Precision

Fallstudien und spezialisierte Optimierungen

  • Fallstudie: hoch effizientes Faltungsnetzwerk (Convolution) für kleine Eingabeformen
  • Fallstudie: speicherbewusste Optimierung von Attention-Operatoren
  • Best Practices beim Bereitstellen benutzerdefinierter Operatoren auf Geräten

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Tiefe Kenntnisse der Interna von KI-Modellen und der Operator-Ebene der Berechnung
  • Erfahrung mit Python und Linux-Entwicklungsumgebungen
  • Vertrautheit mit Neuronennetzwerk-Compilern oder Graphen-basierten Optimierern

Zielgruppe

  • Compiler-Ingenieure, die an KI-Toolchains arbeiten
  • Systementwickler, die auf niedrigstufige KI-Optimierung spezialisiert sind
  • Entwickler, die benutzerdefinierte Operatoren erstellen oder für neue KI-Arbeitslasten Zielgerichtet sind
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien