Schulungsübersicht
Tag 1: Grundlagen und Kernbedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Die Entwicklung von den OWASP Top 10 zu genai-spezifischen Sicherheitsherausforderungen verstehen
- Das Ökosystem und die Ressourcen des OWASP GenAI Security Project erkunden
- Die wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit identifizieren
Bearbeitete Themen:
- Überblick über Mission und Umfang des OWASP GenAI Security Project
- Einführung in das Bedrohungsabwehr-Rahmenwerk COMPASS
- Verständnis der Landschaft der KI-Sicherheit und regulatorischer Anforderungen
- KI-Angriffsoberflächen im Vergleich zu traditionellen Webanwendungsschwachstellen
Praktische Übung: Einrichtung des OWASP Threat Defense COMPASS Tools und Durchführung einer ersten Bedrohungsbewertung
Modul 2: OWASP Top 10 für LLMs – Teil 1 (2,5 Stunden)
Lernziele:
- Die ersten fünf kritischen LLM-Schwachstellen beherrschen
- Angriffsvektoren und Exploit-Techniken verstehen
- Praktische Abwehrstrategien anwenden
Bearbeitete Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken
- Angriffe mit versteckten Anweisungen und Cross-Prompt-Kontamination
- Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmassnahmen
- Abwehrstrategien: Eingabedatenbereinigung, Prompt-Filterung, differentielle Privatsphäre
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und Leckage von System-Prompts
- Analyse des Modellverhaltens zur Aufdeckung Exposition sensibler Daten
- Datenschutzimplikationen und Aspekte der regulatorischen Konformität
- Abwehr: Ausgabe-Filterung, Zugriffskontrollen, Datenanonymisierung
LLM03: Schwachstellen in der Lieferkette
- Drittanbieter-Modellabhängigkeiten und Plugin-Sicherheit
- Kompromittierte Trainingsdatensätze und Model-Poisoning
- Vendor-Risikobewertung für KI-Komponenten
- Sichere Modellbereitstellung und Verifizierungspraktiken
Praktische Übung: Praktisches Labor, das Prompt-Injection-Angriffe gegen anfällige LLM-Anwendungen demonstriert und Abwehrmassnahmen implementiert
Modul 3: OWASP Top 10 für LLMs – Teil 2 (2 Stunden)
Bearbeitete Themen:
LLM04: Daten- und Model-Poisoning
- Techniken zur Manipulation von Trainingsdaten
- Modellverhaltensänderung durch vergiftete Eingaben
- Backdoor-Angriffe und Datenintegritätsüberprüfung
- Prävention: Datenvalidierungs-Pipelines, Herkunftsnachverfolgung
LLM05: Unsachgemässe Verarbeitung der Ausgabe
- Sicherheitslücken bei der Verarbeitung von LLM-generierten Inhalten
- Code-Injection durch KI-generierte Ausgaben
- Cross-Site-Scripting über KI-Antworten
- Ausgabevalidierung und Bereinigungsrahmenwerke
Praktische Übung: Simulation von Data-Poisoning-Angriffen und Implementierung robuster Ausgabevalidierungsmechanismen
Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)
Bearbeitete Themen:
LLM06: Excessive Agency
- Risiken autonomer Entscheidungsfindung und Grenzverletzungen
- Agentenautorität und Berechtigungsverwaltung
- Ungewollte Systeminteraktionen und Privilegien-Eskalation
- Implementierung von Schutzmassnahmen (Guardrails) und menschlicher Aufsichtskontrollen
LLM07: Leckage von System-Prompts
- Schwachstellen bei der Offenlegung von Systemanweisungen
- Weitergabe von Anmeldeinformationen und Logik über Prompts
- Angriffstechniken zum Extrahieren von System-Prompts
- Sicherung der Systemanweisungen und externer Konfigurationen
Praktische Übung: Entwurf sicherer Agent-Architekturen mit geeigneten Zugriffskontrollen und Monitoring
Tag 2: Fortgeschrittene Bedrohungen und Implementierung
Modul 5: Aufkommende KI-Bedrohungen (2 Stunden)
Lernziele:
- Fortschrittlichste KI-Sicherheitsbedrohungen verstehen
- Fortgeschrittene Erkennungs- und Präventionstechniken implementieren
- Resiliente KI-Systeme gegen ausgefeilte Angriffe entwerfen
Bearbeitete Themen:
LLM08: Schwachstellen bei Vektoren und Embeddings
- Schwachstellen von RAG-Systemen und Vektordatenbanksicherheit
- Embedding-Poisoning und Angriffe zur Manipulation der Ähnlichkeit
- Adversariale Beispiele in der semantischen Suche
- Sicherung von Vektorspeichern und Implementierung von Anomalieerkennung
LLM09: Fehlinformationen und Modellzuverlässigkeit
- Erkennung und Abmilderung von Halluzinationen
- Verstärkung von Bias und Aspekte der Fairness
- Mechanismen zur Faktenprüfung und Quellenverifizierung
- Inhaltsvalidierung und Integration menschlicher Aufsicht
LLM10: Unbeschränkter Verbrauch
- Ressourcenerschöpfung und Denial-of-Service-Angriffe
- Strategien zur Rate-Limiting und Ressourcenverwaltung
- Kostenoptimierung und Budgetkontrollen
- Leistungsüberwachung und Alarmierungssysteme
Praktische Übung: Aufbau eines sicheren RAG-Pipelines mit Vektordatenbankschutz und Halluzinationserkennung
Modul 6: Sicherheit agenticer KI (2 Stunden)
Lernziele:
- Die einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten verstehen
- die OWASP Agentic AI Taxonomie auf reale Systeme anwenden
- Sicherheitskontrollen für Multi-Agenten-Umgebungen implementieren
Bearbeitete Themen:
- Einführung in Agentische KI und autonome Systeme
- OWASP Agentic AI Threat Taxonomy: Agent Design, Memory, Planning, Tool Use, Deployment
- Sicherheit und Koordinationsrisiken von Multi-Agenten-Systemen
- Angriffe durch Fehlgebrauch von Tools, Memory-Poisoning und Ziel-Hijacking
- Sicherung der Kommunikation und Entscheidungsprozesse der Agenten
Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Agentic AI Taxonomie für ein Multi-Agenten-Kundensystem
Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)
Lernziele:
- Die praktische Anwendung der Bedrohungsabwehr COMPASS beherrschen
- KI-Bedrohungsbewertung in organisationale Sicherheitsprogramme integrieren
- Umfassende Strategien zum KI-Risikomanagement entwickeln
Bearbeitete Themen:
- Tiefergehender Einblick in die COMPASS-Methodologie
- Integration des OODA-Loop: Observe, Orient, Decide, Act
- Abbildung von Bedrohungen auf MITRE ATT&CK und ATLAS Frameworks
- Aufbau von Dashboards für die KI-Bedrohungswiderstandsfähigkeit
- Integration in bestehende Sicherheitstools und Prozesse
Praktische Übung: Vollständige Bedrohungsbewertung mit COMPASS für ein Szenario der Microsoft Copilot-Einführung
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Sichere KI-Architekturen von Grund auf entwerfen
- Monitoring und Incident Response für KI-Systeme implementieren
- Governance-Rahmenwerke für KI-Sicherheit erstellen
Bearbeitete Themen:
Sicherer Softwareentwicklungslebenszyklus für KI:
- Prinzipien von Security-by-Design für KI-Anwendungen
- Code-Review-Praktiken für LLM-Integrationen
- Testmethodologien und Schwachstellen-Scanning
- Sicherheit bei der Bereitstellung und Hardening in der Produktion
Monitoring und Erkennung:
- Anforderungen an Logging und Monitoring speziell für KI
- Anomalieerkennung für KI-Systeme
- Verfahren zum Incident Response für KI-Sicherheitsereignisse
- Techniken der Forensik und Untersuchung
Governance und Compliance:
- Rahmenwerke und Richtlinien zum KI-Risikomanagement
- Aspekte regulatorischer Konformität (DSGVO, AI Act usw.)
- Risikobewertung von Drittanbietern für KI-Vendors
- Sicherheitsschulungen für KI-Entwicklungsteams
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für einen unternehmensweiten KI-Chatbot einschließlich Monitoring, Governance und Incident Response Verfahren
Modul 9: Tools und Technologien (1 Stunde)
Lernziele:
- KI-Sicherheitstools evaluieren und implementieren
- Dieses Landschaft der aktuellen KI-Sicherheitslösungen verstehen
- Praktische Fähigkeiten zur Erkennung und Prävention aufbauen
Bearbeitete Themen:
- Ökosystem von KI-Sicherheitstools und Vendor-Landschaft
- Open-Source-Sicherheitstools: Garak, PyRIT, Giskard
- Kommerzielle Lösungen für KI-Sicherheit und Monitoring
- Muster zur Integration und Bereitstellungsstrategien
- Kriterien zur Toolauswahl und Bewertungsrahmenwerke
Praktische Übung: Praktische Demonstration von KI-Sicherheitstesttools und Planungsübung zur Implementierung
Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)
Lernziele:
- Aufkommende Bedrohungen und zukünftige Sicherheitsherausforderungen verstehen
- Strategien für fortlaufendes Lernen und Verbesserung entwickeln
- Aktionspläne für organisationale KI-Sicherheitsprogramme erstellen
Bearbeitete Themen:
- Aufkommende Bedrohungen: Deepfakes, ausgefeilte Prompt Injection, Model Inversion
- Künftige Entwicklungen und Roadmap des OWASP GenAI Project
- Aufbau von KI-Sicherheits-Communities und Wissensaustausch
- Fortlaufende Verbesserung und Integration von Threat Intelligence
Übung zur Aktionsplanung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung der OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmenden
Voraussetzungen
- Allgemeines Verständnis von Prinzipien der Sicherheit von Webanwendungen
- Grundlegende Vertrautheit mit KI-/ML-Konzepten
- Erfahrung mit Sicherheitsrahmenwerken oder Risikobewertungsmethodologien von Vorteil
Zielgruppe
- Cybersecurity-Fachkräfte
- KI-Entwickler:innen
- Systemarchitekt:innen
- Compliance-Beauftragte
- Sicherheitspraktiker:innen
Erfahrungsberichte (1)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
