Schulungsübersicht
Tag 1: Grundlagen und Kernbedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Verstehen der Entwicklung von den OWASP Top 10 zu KI-spezifischen Sicherheitsausforderungen.
 - Erforschung des OWASP GenAI Security Project Ökosystems und Ressourcen.
 - Identifizieren der wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit.
 
Behandelte Themen:
- Überblick über das OWASP GenAI Security Project und seine Mission.
 - Einführung in das Threat Defense COMPASS-Framework.
 - Verstehen der KI-Sicherheitslandschaft und regulatorischen Anforderungen.
 - Vergleich von KI-Angriffsflächen mit traditionellen Webanwendungsverletzbarkeiten.
 
Praktische Übung: Einrichten des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsbewertung
Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)
Lernziele:
- Beherrschung der ersten fünf kritischen LLM-Verletzbarkeiten.
 - Verstehen von Angriffspfaden und Exploit-Techniken.
 - Praktische Implementierung von Abmilderungsstrategien.
 
Behandelte Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken.
 - Versteckte Angriffe und cross-prompt-Kontamination.
 - Praktische Beispiele: Jailbreaking von Chatbots und Umgehen von Sicherheitsmaßnahmen.
 - Abwehrstrategien: Eingabevalidierung, Prompt-Filterung, differentielle Privatsphäre.
 
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und System-Prompt-Lecks.
 - Analyse des Modellverhaltens auf die Offenlegung sensibler Informationen.
 - Datenschutzimplikationen und regulatorische Compliance-Überlegungen.
 - Abmilderungsstrategien: Ausgabevalidierung, Zugangskontrolle, Datanonymisierung.
 
LLM03: Lieferkettenschwächen
- Sicherheit von Drittanbieter-Modellen und Plugin-Sicherheit.
 - Kompromittierte Trainingsdatensätze und Model-Poisoning.
 - Risikobewertung von Drittanbietern für AI-Komponenten.
 - Sicherheitspraktiken für die Bereitstellung und Verifizierung von Modellen.
 
Praktische Übung: Hands-on Labor zur Demonstration von Prompt-Injection-Angriffen gegen verletzbare LLM-Anwendungen und Implementierung von Abwehrmaßnahmen
Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)
Behandelte Themen:
LLM04: Daten- und Modellvergiftung
- Techniken zur Manipulation von Trainingsdaten.
 - Änderung des Modellverhaltens durch vergiftete Eingaben.
 - Backdoor-Angriffe und Datenintegritätsprüfung.
 - Präventionsstrategien: Datenvalidierungspipelines, Herkunftsnachverfolgung.
 
LLM05: Fehlende Ausgabebehandlung
- Unsichere Verarbeitung von LLM-generierten Inhalten.
 - Codeinjektion durch KI-generierte Ausgaben.
 - Cross-Site Scripting über KI-Antworten.
 - Validierungs- und Sanierungsframeworks für Ausgaben.
 
Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Ausgabevalidierungsmechanismen
Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)
Behandelte Themen:
LLM06: Überschreitung der Agentenbefugnis
- Risiken autonomer Entscheidungen und Verletzung von Grenzen.
 - Management der Agentenbefugnis und Berechtigungen.
 - Unerwünschte Systeminteraktionen und Privileg-Eskalation.
 - Implementierung von Schutzmaßnahmen und menschlicher Überwachungskontrolle.
 
LLM07: System-Prompt-Lecks
- Verletzbarkeiten der Offenlegung von Systemanweisungen.
 - Offenlegung von Anmeldeinformationen und Logik durch Prompts.
 - Angriffstechniken zur Extraktion von Systemprompts.
 - Sichere Systemanweisungen und externe Konfiguration.
 
Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugangskontrollen und Monitoring
Tag 2: Fortgeschrittene Bedrohungen und Implementierung
Modul 5: Emerging AI-Threats (2 Stunden)
Lernziele:
- Verstehen von neuesten KI-Sicherheitsbedrohungen.
 - Implementierung fortgeschrittener Erkennungs- und Präventionsmethoden.
 - Entwurf widerstandsfähiger KI-Systeme gegen sofistizierte Angriffe.
 
Behandelte Themen:
LLM08: Vector and Embedding Weaknesses
- Schwachstellen von RAG-Systemen und Sicherheit von Vektordatenbanken.
 - Vergiftungsangriffe auf Embeddings und Similarity-Manipulation-Angriffe.
 - Adversariale Beispiele in semantischer Suche.
 - Sichere Vektorspeicher und Implementierung von Anomaliedetektion.
 
LLM09: Falschinformationen und Modellzuverlässigkeit
- Erkennung und Abmilderung von Halluzinationen.
 - Verstärkung von Vorurteilen und Fairness-Überlegungen.
 - Fact-Checking und Quellenverifikationsmechanismen.
 - Content-Validierung und Integration menschlicher Überwachung.
 
LLM10: Unbounded Consumption
- Ressourcenverbrauch und Denial-of-Service-Angriffe.
 - Rate-Limiting und Ressourcenmanagementstrategien.
 - Kostenoptimierung und Budgetkontrolle.
 - Leistungsüberwachung und Alerting-Systeme.
 
Praktische Übung: Erstellung einer sicheren RAG-Pipeline mit Vektordatenbankschutz und Halluzinationserkennung
Modul 6: Agentic AI Security (2 Stunden)
Lernziele:
- Verstehen der einzigartigen Sicherheitsausforderungen autonomer KI-Agenten.
 - Anwendung des OWASP Agentic AI-Taxonomie auf realweltliche Systeme.
 - Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen.
 
Behandelte Themen:
- Einführung in Agentic AI und autonome Systeme.
 - OWASP Agentic AI-Threat-Taxonomie: Agent Design, Memory, Planning, Tool Use, Deployment.
 - Sicherheit von Multi-Agenten-Systemen und Koordinationsrisiken.
 - Missbrauch von Tools, Vergiftung des Speichers und Entführung von Zielen.
 - Sichere Kommunikation und Entscheidungsfindungsprozesse der Agenten.
 
Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Agentic AI-Taxonomie an einem Multi-Agenten-Kundendienstsystem
Modul 7: OWASP Threat Defense COMPASS-Implementierung (2 Stunden)
Lernziele:
- Beherrschung der praktischen Anwendung des Threat Defense COMPASS.
 - Integration von KI-Bedrohungsbewertungen in unternehmensweite Sicherheitsprogramme.
 - Entwicklung umfassender KI-Risikomanagementstrategien.
 
Behandelte Themen:
- Tiefgang in die Threat Defense COMPASS-Methodik.
 - Integration des OODA-Schleifen: Beobachten, Orientieren, Entscheiden, Handeln.
 - Zuordnung von Bedrohungen zu den MITRE ATT&CK- und ATLAS-Frameworks.
 - Erstellung von Dashboards zur KI-Bedrohungsrückgewinnung.
 - Integration in bestehende Sicherheitstools und -prozesse.
 
Praktische Übung: Durchführung einer Bedrohungsbewertung unter Verwendung von COMPASS für ein Microsoft Copilot-Bereitstellungsszenario
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Entwurf sicherer KI-Architekturen von Grund auf.
 - Implementierung von Monitoring und Vorfallmanagement für KI-Systeme.
 - Erstellung von Governance-Frameworks für KI-Sicherheit.
 
Behandelte Themen:
Sichere AI-Entwicklungslebenszyklen:
- Sicherheitsprinzipien für KI-Anwendungen im Design.
 - Code-Review-Praktiken für LLM-Integrationen.
 - Testmethodologien und Verletzbarkeitsscanning.
 - Bereitstellungssicherheit und Produktionsverfestigung.
 
Monitoring und Erkennung:
- KI-spezifische Anforderungen für Logging und Monitoring.
 - Anomaliedetektion für KI-Systeme.
 - Vorfallmanagement-Prozeduren für KI-Sicherheitsereignisse.
 - Forensik und Untersuchungstechniken.
 
Governance und Compliance:
- KI-Risikomanagement-Frameworks und -richtlinien.
 - Regulatorische Compliance-Überlegungen (GDPR, AI Act usw.).
 - Drittanbieter-Risikobewertung für KI-Anbieter.
 - Sicherheitsbewusstseinstraining für KI-Entwicklerteams.
 
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für ein Unternehmens-KI-Chatbot, einschließlich Monitoring, Governance und Vorfallmanagementprozeduren
Modul 9: Tools und Technologien (1 Stunde)
Lernziele:
- Auswählen und Implementieren von KI-Sicherheitstools.
 - Verständnis der aktuellen KI-Sicherheitslösungslandschaft.
 - Aufbau praktischer Erkennungs- und Präventionsfähigkeiten.
 
Behandelte Themen:
- KI-Sicherheitstools und -Landschaft von Anbietern.
 - Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
 - Kommerzielle Lösungen für KI-Sicherheit und -Monitoring.
 - Integrationsmuster und Bereitstellungsstrategien.
 - Auswahlkriterien für Tools und Bewertungsframeworks.
 
Praktische Übung: Hands-on Demonstration von KI-Sicherheitstests und Implementierungsplanung
Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)
Lernziele:
- Verstehen von aufkommenden Bedrohungen und zukünftigen Sicherheitsausforderungen.
 - Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung.
 - Erstellung von Aktionsplänen für unternehmensweite KI-Sicherheitsprogramme.
 
Behandelte Themen:
- Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Modellinversion.
 - Zukünftige OWASP GenAI-Projektentwicklungen und -Roadmaps.
 - Aufbau von KI-Sicherheitsgemeinschaften und Wissensaustausch.
 - Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen.
 
Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer
Voraussetzungen
- Allgemeine Kenntnisse der Sicherheitsprinzipien von Webanwendungen.
 - Grundkenntnisse in KI/ML-Konzepten.
 - Erfahrung mit Sicherheitsrahmen oder Risikobewertungsmethodiken ist erwünscht.
 
Zielgruppe
- Cybersecurity-Professionals
 - KI-Entwickler
 - Systemarchitekten
 - Compliance-Officer
 - Sicherheitspraktiker