OWASP GenAI Security Schulung

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)

Lernziele:

• Verstehen der Entwicklung von der OWASP Top 10 zu GenAI-spezifischen Sicherheitsherausforderungen
• Erforschen des Ökosystems und der Ressourcen des OWASP GenAI Security Projects
• Identifizieren der wichtigsten Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit

Behandelte Themen:

• Überblick über Mission und Umfang des OWASP GenAI Security Projects
• Einführung in das Threat-Defense-COMPASS-Framework
• Verstehen des KI-Sicherheitslandschafts und der regulatorischen Anforderungen
• KI-Angriffsflächen im Vergleich zu traditioneller Webanwendungsverwundbarkeit

Praktische Übung: Einrichtung des OWASP Threat-Defense-COMPASS-Tools und Durchführung einer ersten Bedrohungsanalyse

Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)

Lernziele:

• Meistern der ersten fünf kritischen LLM-Verwundbarkeiten
• Verstehen von Angriffsvektoren und Exploitationstechniken
• Anwenden praktischer Minderungsstrategien

Behandelte Themen:

LLM01: Prompt Injection

• Techniken der direkten und indirekten Prompt-Injection
• Angriffe auf verborgene Anweisungen und Cross-Prompt-Kontamination
• Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmassnahmen
• Verteidigungsstrategien: Eingabe-Sanitization, Prompt-Filterung, differentielle Privatsphäre

LLM02: Offenlegung sensibler Informationen

• Extraktion von Trainingsdaten und Leckage von System-Prompts
• Verhaltensanalyse des Modells zur Offenlegung sensibler Informationen
• Schutzhinweise und Überlegungen zur regulatorischen Compliance
• Minderung: Ausgabe-Filterung, Zugriffssteuerung, Datenanonymisierung

LLM03: Schwachstellen in der Lieferkette

• Drittanbieter-Modellabhängigkeiten und Plugin-Sicherheit
• Kompromittierte Datensätze für das Training und Model Poisoning
• Anbieter-Risiko-Assessment für KI-Komponenten
• Sichere Modellimplementierung und Verifizierungspraktiken

Praktische Übung: Praktisches Labor, das Prompt-Injection-Angriffe gegen verwundbare LLM-Anwendungen demonstriert und Verteidigungsmassnahmen umsetzt

Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)

Behandelte Themen:

LLM04: Daten- und Modellvergiftung

• Techniken der Manipulation von Trainingsdaten
• Änderung des Modellverhaltens durch vergiftete Eingaben
• Backdoor-Angriffe und Verifizierung der Datenintegrität
• Prävention: Validierungspipelines für Daten, Provenienzverfolgung

LLM05: Unangemessene Ausgabebehandlung

• Unsichere Verarbeitung von KI-generierten Inhalten
• Code-Injection über KI-generierte Ausgaben
• Cross-Site-Scripting über KI-Antworten
• Frameworks für Validierung und Sanitization der Ausgaben

Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Mechanismen zur Validierung der Ausgaben

Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)

Behandelte Themen:

LLM06: Exzessive Autonomie

• Risiken autonomer Entscheidungsfindung und Verstösse gegen Grenzen
• Befugnisse und Berechtigungsmanagement von Agenten
• Unbeabsichtigte Systeminteraktionen und Eskalation von Rechten
• Implementierung von Guardrails und menschlichen Aufsichtsmechanismen

LLM07: Leckage von System-Prompts

• Verwundbarkeiten in der Offenlegung von Systemanweisungen
• Offenlegung von Zugangsdaten und Logik durch Prompts
• Angriffstechniken zur Extraktion von System-Prompts
• Schutz von Systemanweisungen und externer Konfiguration

Praktische Übung: Design sicherer Agenten-Architekturen mit geeigneten Zugriffssteuerungen und Monitoring

Tag 2: Fortgeschrittene Bedrohungen und Implementierung

Modul 5: Aufkommende KI-Bedrohungen (2 Stunden)

Lernziele:

• Verstehen von KI-Sicherheitsbedrohungen auf dem neuesten Stand der Technik
• Implementierung fortschrittlicher Techniken zur Erkennung und Prävention
• Design widerstandsfähiger KI-Systeme gegen raffinierte Angriffe

Behandelte Themen:

LLM08: Schwächen in Vektoren und Embeddings

• Verwundbarkeiten von RAG-Systemen und Sicherheit von Vektor-Datenbanken
• Embedding-Vergiftung und Angriffe zur Manipulation der Ähnlichkeit
• Adversarial Examples bei der semantischen Suche
• Schutz von Vektor-Speichern und Implementierung der Anomalie-Erkennung

LLM09: Desinformation und Zuverlässigkeit von Modellen

• Erkennung und Minderung von Halluzinationen
• Verstärkung von Verzerrungen und Überlegungen zur Fairness
• Mechanismen zur Faktenprüfung und Quellenverifizierung
• Validierung von Inhalten und Integration menschlicher Aufsicht

LLM10: Unbegrenzter Verbrauch

• Erschöpfung von Ressourcen und Denial-of-Service-Angriffe
• Strategien für Rate Limiting und Ressourcenmanagement
• Kosteneffizienz und Budgetkontrollen
• Leistungsmonitoring und Alarmsysteme

Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Schutz der Vektordatenbank und Halluzinationserkennung

Modul 6: Sicherheit von Agentischer KI (2 Stunden)

Lernziele:

• Verstehen der einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten
• Anwendung der OWASP Agentic AI Taxonomie auf reale Systeme
• Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen

Behandelte Themen:

• Einführung in Agentic AI und autonome Systeme
• OWASP Agentic AI Threat Taxonomy: Agent-Design, Speicher, Planung, Werkzeugnutzung, Deployment
• Sicherheit von Multi-Agenten-Systemen und Koordinationrisiken
• Missbrauch von Werkzeugen, Speichervergiftung und Angriffe zur Übernahme von Zielen
• Schutz der Agentenkommunikation und Entscheidungsprozesse

Praktische Übung: Threat-Modelling-Übung unter Verwendung der OWASP Agentic AI Taxonomie in einem Multi-Agenten-System für den Kundenservice

Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)

Lernziele:

• Meistern der praktischen Anwendung von Threat Defense COMPASS
• Integration der KI-Bedrohungsanalyse in organisatorische Sicherheitsprogramme
• Entwicklung umfassender Strategien für das KI-Risikomanagement

Behandelte Themen:

• Tiefgang in die Methodik von Threat Defense COMPASS
• Integration der OODA-Schleife: Observe, Orient, Decide, Act
• Zuordnung von Bedrohungen zu den Frameworks MITRE ATT&CK und ATLAS
• Aufbau von Dashboards für Strategien zur KI-Resilienz
• Integration mit bestehenden Sicherheitstools und Prozessen

Praktische Übung: Vollständige Bedrohungsanalyse unter Verwendung von COMPASS für ein Implementierungsszenario von Microsoft Copilot

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

• Design sicherer KI-Architekturen von Grund auf
• Implementierung von Monitoring und Inzidenzreaktion für KI-Systeme
• Erstellung von Governance-Rahmenwerken für KI-Sicherheit

Behandelte Themen:

Sicherer KI-Entwicklungslebenszyklus:

• Security-by-Design-Prinzipien für KI-Anwendungen
• Praktiken für Code Reviews bei LLM-Integrationen
• Methoden des Testens und Schwachstellenscannings
• Implementierungssicherheit und Härtung in der Produktion

Monitoring und Erkennung:

• KI-spezifische Anforderungen an Logging und Monitoring
• Anomalie-Erkennung für KI-Systeme
• Prozeduren der Inzidenzreaktion für KI-Sicherheitsvorfälle
• Techniken der Forensik und Untersuchung

Governance und Compliance:

• Rahmenwerke und Richtlinien für das KI-Risikomanagement
• Überlegungen zur regulatorischen Compliance (DSGVO, KI-Gesetz, etc.)
• Risiko-Assessment von Drittanbietern für KI-Anbieter
• Sicherheitsbewusstseinsschulung für KI-Entwicklungsteams

Praktische Übung: Design einer vollständigen Sicherheitsarchitektur für einen KI-Chatbot im Unternehmensumfeld, einschliesslich Monitoring, Governance und Inzidenzreaktionsprozeduren

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

• Evaluierung und Implementierung von KI-Sicherheitstools
• Verstehen des aktuellen Landschafts der KI-Sicherheitslösungen
• Aufbau praktischer Fähigkeiten zur Erkennung und Prävention

Behandelte Themen:

• Ökosystem von KI-Sicherheitstools und Anbieterlandschaft
• Open-Source-Sicherheitstools: Garak, PyRIT, Giskard
• Kommerzielle Lösungen für KI-Sicherheit und Monitoring
• Integrationsmuster und Implementierungsstrategien
• Kriterien für die Werkzeugauswahl und Evaluierungsframeworks

Praktische Übung: Praktische Demonstration von KI-Sicherheitstest-Tools und Planungsphase für die Implementierung

Modul 10: Zukünftige Trends und Zusammenfassung (1 Stunde)

Lernziele:

• Verstehen aufkommender Bedrohungen und zukünftiger Sicherheitsherausforderungen
• Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung
• Erstellung von Aktionsplänen für organisatorische KI-Sicherheitsprogramme

Behandelte Themen:

• Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Modellinversion
• Zukünftige Entwicklungen und Roadmap des OWASP GenAI Projects
• Aufbau von KI-Sicherheitscommunities und Wissensaustausch
• Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen

Übung zur Aktionsplanung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung der OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer