Schulungsübersicht
Tag 1: Grundlagen und zentrale Bedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Das Verständnis der Entwicklung von den OWASP Top 10 zu GenAI-spezifischen Sicherheitsherausforderungen
- Erkundung des Ökosystems und der Ressourcen des OWASP GenAI Security Project
- Identifikation der wesentlichen Unterschiede zwischen traditioneller Application Security und AI-Sicherheit
Behandelte Themen:
- Übersicht über Mission und Umfang des OWASP GenAI Security Project
- Einführung in das Threat Defense COMPASS Framework
- Verständnis der AI-Sicherheitslandschaft und regulatorischer Anforderungen
- Angriffsflächen von AI im Vergleich zu traditionellen Webanwendungsfehlern
Praktische Übung: Einrichten des OWASP Threat Defense COMPASS Tools und Durchführen einer ersten Bedrohungsanalyse
Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)
Lernziele:
- Beherrschung der ersten fünf kritischen LLM-Schwachstellen
- Verständnis von Angriffvektoren und Exploitation-Techniken
- Anwendung praktischer Minderungsstrategien
Behandelte Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken
- Angriffe mit versteckten Anweisungen und Cross-Prompt-Kontamination
- Praxisbeispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmassnahmen
- Verteidigungsstrategien: Eingangsvalidierung, Prompt-Filterung, differentielle Privatsphäre
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und Leckage von System-Prompts
- Analyse des Modellverhaltens hinsichtlich der Exposition sensibler Informationen
- Datenschutzimplikationen und Aspekte der regulatorischen Compliance
- Minderung: Ausgangsfilterung, Zugriffskontrollen, Datenanonymisierung
LLM03: Schwachstellen in der Lieferkette
- Abhängigkeiten von Drittanbietermodellen und Pluginsicherheit
- Kompromittierte Trainingsdatensätze und Model Poisoning
- Risikobewertung von Anbietern für AI-Komponenten
- Praktiken für sichere Model-Deployments und Verifizierung
Praktische Übung: Praktisches Labor, das Prompt-Injection-Angriffe gegen anfällige LLM-Anwendungen demonstriert und defensive Massnahmen implementiert
Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)
Behandelte Themen:
LLM04: Daten- und Model Poisoning
- Techniken zur Manipulation von Trainingsdaten
- Modifizierung des Modellverhaltens durch vergiftete Eingaben
- Backdoor-Angriffe und Verifizierung der Datenintegrität
- Prävention: Pipelines zur Datenvalidierung, Provenance-Tracking
LLM05: Unsachgemäße Handhabung von Ausgaben
- Unsichere Verarbeitung von LLM-generierten Inhalten
- Code-Injection durch KI-generierte Ausgaben
- Cross-Site Scripting über KI-Antworten
- Frameworks zur Validierung und Säuberung von Ausgabedaten
Praktische Übung: Simulation von Data Poisoning-Angriffen und Implementierung robuster Mechanismen zur Ausgangsvalidierung
Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)
Behandelte Themen:
LLM06: Exzessive Agency
- Risiken autonomer Entscheidungsfindung und Grenzüberschreitungen
- Agentenautorität und Berechtigungsverwaltung
- Unbeabsichtigte Systeminteraktionen und Privilege Escalation
- Implementierung von Guardrails und menschlichen Aufsichtskontrollen
LLM07: Leckage von System-Prompts
- Schwachstellen bei der Exposition von Systemanweisungen
- Offenlegung von Anmeldedaten und Logik durch Prompts
- Angriffstechniken zum Extrahieren von System-Prompts
- Sicherung von Systemanweisungen und externen Konfigurationen
Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugriffskontrollen und Überwachung
Tag 2: Fortgeschrittene Bedrohungen und Implementierung
Modul 5: Aufkommende AI-Bedrohungen (2 Stunden)
Lernziele:
- Verständnis höchstaktueller AI-Sicherheitsbedrohungen
- Implementierung fortschrittlicher Erkennungs- und Präventionstechniken
- Entwurf widerstandsfähiger AI-Systeme gegen ausgefeilte Angriffe
Behandelte Themen:
LLM08: Schwachstellen bei Vektoren und Embeddings
- Schwachstellen von RAG-Systemen und Sicherheit von Vektordatenbanken
- Poisoning von Embeddings und Angriffe zur Manipulation der Ähnlichkeit
- Adversarial Examples in der semantischen Suche
- Sicherung von Vector Stores und Implementierung der Anomalieerkennung
LLM09: Desinformation und Modellzuverlässigkeit
- Erkennung und Minderung von Halluzinationen
- Verstärkung von Bias und Aspekte der Fairness
- Mechanismen zur Faktenprüfung und Quellenverifizierung
- Validierung von Inhalten und Integration menschlicher Aufsicht
LLM10: Unbegrenzter Verbrauch
- Ressourcenerschöpfung und Denial-of-Service-Angriffe
- Strategien zur Ratenbegrenzung und Ressourcenverwaltung
- Kostenoptimierung und Budgetkontrollen
- Leistungsüberwachung und Alarmierungssysteme
Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Vektordatenschutz und Halluzinationserkennung
Modul 6: Sicherheit von Agentic AI (2 Stunden)
Lernziele:
- Verständnis der einzigartigen Sicherheitsherausforderungen autonomer AI-Agenten
- Anwendung der OWASP Agentic AI Taxonomie auf reale Systeme
- Implementierung von Sicherheitskontrollen für Multi-Agent-Umgebungen
Behandelte Themen:
- Einführung in Agentic AI und autonome Systeme
- OWASP Agentic AI Threat Taxonomy: Agent Design, Memory, Planning, Tool Use, Deployment
- Sicherheit und Koordinationsrisiken von Multi-Agent-Systemen
- Angriffe durch Missbrauch von Tools, Poisoning des Gedächtnisses und Goal Hijacking
- Sicherung der Kommunikation und Entscheidungsprozesse von Agenten
Praktische Übung: Threat Modeling-Übung mit der OWASP Agentic AI Taxonomie für ein Multi-Agent-Kundenservice-System
Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)
Lernziele:
- Beherrschung der praktischen Anwendung von Threat Defense COMPASS
- Integration der AI-Bedrohungsanalyse in die organisationale Sicherheitsprogramme
- Entwicklung umfassender Strategien zum Management von AI-Risiken
Behandelte Themen:
- Tiefgehende Einführung in die Threat Defense COMPASS Methodologie
- Integration des OODA-Laufs: Observe, Orient, Decide, Act
- Mapping von Bedrohungen auf MITRE ATT&CK und ATLAS Frameworks
- Aufbau von Dashboards für die AI-Bedrohungsresilienz-Strategie
- Integration mit bestehenden Sicherheitswerkzeugen und -prozessen
Praktische Übung: Vollständige Bedrohungsanalyse mit COMPASS für ein Microsoft Copilot-Deployment-Szenario
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Entwurf sicherer AI-Architekturen von Grund auf
- Implementierung von Überwachung und Incident Response für AI-Systeme
- Erstellung von Governance-Rahmenwerken für AI-Sicherheit
Behandelte Themen:
Sicherer Lebenszyklus der AI-Entwicklung:
- Security-by-Design-Grundsätze für AI-Anwendungen
- Praktiken zur Code-Bewertung für LLM-Integrationen
- Testmethodologien und Schwachstellenscanning
- Sicherheit bei der Bereitstellung und Hardening der Produktion
Überwachung und Erkennung:
- Spezifische Logging- und Überwachungsanforderungen für AI
- Anomalieerkennung für AI-Systeme
- Vorgehensweisen zur Incident Response für AI-Sicherheitsvorfälle
- Forensik und Untersuchungstechniken
Governance und Compliance:
- AI-Risikomanagement-Frameworks und Richtlinien
- Aspekte der regulatorischen Compliance (DSGVO, KI-Gesetz usw.)
- Risikobewertung von Drittanbietern für AI-Anbieter
- Schulungen zur Sicherheitsbewusstseinsbildung für AI-Entwicklungsteams
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für einen Enterprise-AI-Chatbot inkl. Überwachung, Governance und Incident Response Verfahren
Modul 9: Werkzeuge und Technologien (1 Stunde)
Lernziele:
- Evaluation und Implementierung von AI-Sicherheitswerkzeugen
- Verständnis der aktuellen Landschaft der AI-Sicherheitslösungen
- Aufbau praktischer Erkennungs- und Präventionskapazitäten
Behandelte Themen:
- Ökosystem und Anbieterlandschaft von AI-Sicherheitswerkzeugen
- Open-Source-Sicherheitswerkzeuge: Garak, PyRIT, Giskard
- Kommerzielle Lösungen für AI-Sicherheit und Überwachung
- Integrationsmuster und Bereitstellungsstrategien
- Kriterien zur Werkzeugauswahl und Bewertungsframeworks
Praktische Übung: Praktische Demonstration von AI-Sicherheitstestwerkzeugen und Planungsimplementation
Modul 10: Zukünftige Trends und Zusammenfassung (1 Stunde)
Lernziele:
- Verständnis aufkommender Bedrohungen und zukünftiger Sicherheitsherausforderungen
- Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung
- Erstellung von Aktionsplänen für organisationale AI-Sicherheitsprogramme
Behandelte Themen:
- Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt Injection, Model Inversion
- Zukünftige Entwicklungen und Roadmap des OWASP GenAI Project
- Aufbau von AI-Sicherheitsgemeinschaften und Wissensaustausch
- Kontinuierliche Verbesserung und Integration von Threat Intelligence
Übung zur Aktionsplanung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung der OWASP GenAI Sicherheitspraktiken in den Organisationen der Teilnehmer
Voraussetzungen
- Allgemeinverständnis der Grundlagen der Webanwendungssicherheit
- Grundlegendes Verständnis von AI-/ML-Konzepten
- Erfahrung mit Sicherheitsrahmenwerken oder Risikobewertungsmethodologien von Vorteil
Zielgruppe
- Cybersecurity-Experten
- AI-Entwickler
- Systemarchitekten
- Compliance-Beauftragte
- Sicherheitspraktiker
Erfahrungsberichte (1)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
