Audio-Klassifizierung und Ereigniserkennung mit ML Schulung

Grundlagen der Audio-Klassifizierung

• Arten von Schallereignissen: Umweltbedingt, mechanisch, menschlich verursacht
• Überblick über Anwendungsfälle: Überwachung, Monitoring, Automatisierung
• Audio-Klassifizierung vs. Detektion vs. Segmentierung

Audio- Daten und Feature-Extraktion

• Arten von Audio-Dateien und Formaten
• Überlegungen zur Abtastrate, Fensterung und Frame-Grösse
• Extraktion von MFCCs, Chroma-Features und Mel-Spektrogrammen

Datenaufbereitung und Annotation

• UrbanSound8K, ESC-50 und benutzerdefinierte Datensätze
• Benennung von Schallereignissen und zeitlichen Grenzen
• Ausgleich von Datensätzen und Audio-Augmentation

Aufbau von Audio-Klassifizierungsmodellen

• Einsatz von konvolutionellen neuronalen Netzen (CNNs) für Audio
• Modell-Eingabe: Rohwellenform vs. Features
• Verlustfunktionen, Bewertungsmetriken und Overfitting

Ereigniserkennung und zeitliche Lokalisierung

• Frame-basierte und segmentbasierte Detektionsstrategien
• Nachbearbeitung von Detektionen mittels Schwellenwerten und Glättung
• Visualisierung von Vorhersagen auf Audio-Zeitachsen

Fortgeschrittene Themen und Echtzeitverarbeitung

• Transfer Learning für Szenarien mit wenig Daten
• Einsatz von Modellen mit TensorFlow Lite oder ONNX
• Streaming-Audioverarbeitung und Latenzüberlegungen

Projektentwicklung und Anwendungsszenarien

• Gestaltung einer vollständigen Pipeline: Von der Erfassung zur Klassifizierung
• Entwicklung eines Proof-of-Concepts für Überwachung, Qualitätskontrolle oder Monitoring
• Protokollierung, Benachrichtigungen und Integration in Dashboards oder APIs

Zusammenfassung und nächste Schritte