Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in die Entwicklung benutzerdefinierter Operatoren

  • Warum benutzerdefinierte Operatoren erstellen? Anwendungsfälle und Einschränkungen
  • Struktur der CANN-Laufzeitumgebung und Integrationspunkte für Operatoren
  • Übersicht über TBE, TIK und TVM im KI-Ökosystem von Huawei

TIK für Low-Level-Operator-Programmierung

  • Verständnis des TIK-Programmierungsmodells und der unterstützten APIs
  • Speicherverwaltung und Tiling-Strategie in TIK
  • Erstellen, Kompilieren und Registrieren eines benutzerdefinierten Ops mit CANN

Testen und Validieren benutzerdefinierter Ops

  • Unit-Tests und Integrationstests von Ops im Graphen
  • Debuggen von Kernel-Leistungsproblemen
  • Visualisierung der Op-Ausführung und des Buffer-Verhaltens

TVM-basiertes Scheduling und Optimierung

  • Übersicht über TVM als Compiler für Tensor-Operatoren
  • Schreiben eines Schedules für einen benutzerdefinierten Op in TVM
  • TVM-Tuning, Benchmarking und Codegenerierung für Ascend

Integration mit Frameworks und Modellen

  • Registrieren benutzerdefinierter Ops für MindSpore und ONNX
  • Überprüfung der Modellintegrität und des Fallback-Verhaltens
  • Unterstützung von Multi-Operator-Graphen mit gemischter Präzision

Fallstudien und spezialisierte Optimierungen

  • Fallstudie: Hochleistungs-Konvolution für kleine Eingabegrößen
  • Fallstudie: Speichergestützte Optimierung von Attention-Operatoren
  • Best Practices im Deployment benutzerdefinierter Ops über Geräte hinweg

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Solide Kenntnisse der internen Strukturen von KI-Modellen und der Berechnung auf Operator-Ebene
  • Erfahrung in Python- und Linux-Entwicklungsumgebungen
  • Vertrautheit mit neuronalen Netzkompilern oder Graph-Optimierern

Zielgruppe

  • Kompilieringenieurwesen, die an KI-Toolchains arbeiten
  • Systementwickler, die sich auf Low-Level-KI-Optimierung konzentrieren
  • Entwickler, die benutzerdefinierte Ops erstellen oder auf neue KI-Workloads abzielen

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien