Schulungsübersicht
Einführung in das AI Red Teaming
- Verständnis der Bedrohungslandschaft für KI
- Rollen von Red-Teams in der KI-Sicherheit
- Ethische und rechtliche Aspekte
Adversarial Machine Learning
- Angriffsarten: Vermeidung, Vergiftung, Extraktion, Inferenz
- Generierung adversarialer Beispiele (z.B. FGSM, PGD)
- Zielgerichtete versus ungerichtete Angriffe und Erfolgsmetriken
Testung der Modellrobustheit
- Bewertung der Robustheit unter Störungen
- Erkundung von blinden Flecken und Versagensmodi des Modells
- Stress-Tests für Klassifikations-, Bildverarbeitungs- und NLP-Modelle
Red Teaming von KI-Pipelines
- Angriffsfläche von KI-Pipelines: Daten, Modell, Bereitstellung
- Ausnutzen unsicherer Modell-APIs und Endpunkte
- Reverse Engineering des Modellverhaltens und der Ausgaben
Simulation und Werkzeugunterstützung
- Nutzung der Adversarial Robustness Toolbox (ART)
- Red Teaming mit Tools wie TextAttack und IBM ART
- Sandboxing-, Überwachungs- und Beobachtungswerkzeuge
Strategie des AI Red Teams und Verteidigungskollaboration
- Entwicklung von Red-Team-Übungen und Zielen
- Kommunikation der Ergebnisse an Blue-Teams
- Integration von Red Teaming in das KI-Risikomanagement
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis von Machine-Learning- und Deep-Learning-Architekturen
- Erfahrung mit Python und ML-Frameworks (z.B. TensorFlow, PyTorch)
- Vertrautheit mit Cybersicherheitskonzepten oder Techniken der offensiven Sicherheit
Zielgruppe
- Sicherheitsforscher
- Teams für offensive Sicherheit
- Fachleute für KI-Sicherheit und Red Teaming
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung