Schulungsübersicht
Modul 1 — KI-Systeme für Sicherheitsingenieure
Lab: Lab 01 — 01-Einführung
Verständnis der Architektur.
Themen:
- LLMs im Vergleich zu herkömmlichen Anwendungen
- KI-Inference-Pipelines
- Prompt-Flows
- RAG-Architektur
- Embeddings/Vector-Datenbanken
- Agentic Workflows
- Tool-Calling
- KI-Gateways
- Copilots
- MCP und Agenten-Protokolle
- Wo WAF-Sichtbarkeit existiert
- Wo WAF-Sichtbarkeit endet
Wichtige Erkenntnis: Herkömmliche WAFs verlieren oft die Sichtbarkeit, sobald der Prompt das Modell erreicht hat.
Modul 2 — OWASP GenAI Top 10
Lab: keine — interaktive Zusammenfassung/Diskussion
Kernkategorien von KI-Angriffen.
Themen:
- Prompt-Injection
- Schwacher Umgang mit Ausgabe
- Poisoning der Trainingsdaten
- Model DoS (Denial of Service)
- Lieferkettenverwundbarkeiten
- Offenlegung sensibler Informationen
- Zu hohe Autonomie (Excessive Agency)
- Schwachstellen bei Vector/Embeddings
- Fehlinformationen
- Nicht limitierter Ressourcenverbrauch (Unbounded Consumption)
Inklusive:
- Unterschiede zur klassischen OWASP-Liste
- Zuordnung zu defensiven Kontrollen (WAF, Gateway, Application-Layer)
- Wo jede Kontrolle hilft
- Wo jede Kontrolle versagt
Modul 3 — Erkennung von Prompt-Injection
Lab: Lab 02 — 02-Prompt-Injection
Der «SQL-Injection-Moment» für KI.
Themen:
- Direkte Prompt-Injection
- Indirekte Prompt-Injection
- Versteckte Anweisungen
- Dokumentbasierte Angriffe
- HTML/Markdown-Injection
- Jailbreak-Muster
- Kontext-Überschreibungsangriffe
- Rollenverwirrungsangriffe
Detektionsstrategien:
- Keyword-Heuristik
- Semantische Klassifizierung
- Prompt-Linting
- Durchsetzung von Anweisungs-Grenzen
- Allow-/Deny-Policies
- KI-angepasste Regex-Muster
Praktische Labore:
- Einen Chatbot angreifen
- Naive Filter umgehen
- Mehrschichtige Detektion aufbauen
Modul 4 — KI-angepasste WAF-Regeln
Lab: Lab 03 — 03-WAF-Basics
Wie sich WAF-Regeln für KI-Systeme weiterentwickeln.
- Themen:
- Schutz von LLM-Endpunkten
- Schutz der Inference-API
- Token-awarees Rate Limiting
- Inspektion der Prompt-Grösse
- KI-spezifische Signaturen
- Erkennung von Konversations-Anomalien
- Mehrfache Missbrauchsmuster
- Versuche der Modell-Enumeration
- Inference-Scraping
- Schutz vor Denial-of-Wallet-Angriffen
Beispiele:
- Schutz von /v1/chat/completions
- Schutz von Streaming-APIs
- Abschneiden rekursiver Agentenaufrufe
Modul 5 — Absicherung von RAG-Pipelines
Lab: Lab 04 — 04-RAG-Security
Eines der grössten neuen Angriffsflächen.
Themen:
- Gefahren durch Vector-Datenbanken
- Poisoning von Embeddings
- Bösartige PDFs/Dokumente
- Manipulation der Suche (Retrieval)
- Semantisches Poisoning
- Versteckte Anweisungen in Dokumenten
- Übergreifende Kontamination zwischen Dokumenten
- Datenexfiltration via Retrieval
Abwehrmassnahmen:
- Sanitization bei der Ingestion
- Vertrauenswürdigkeitsbewertung (Trust Scoring)
- Isolation von Metadaten
- Dokumentenherkunftsnachweis
- Retrieval-Policies
- Segmentierung
Case Study: «Laden Sie ein vergiftetes PDF hoch und übernehmen Sie die Kontrolle über den KI-Assistenten.»
Modul 6 — Sicherheit agenticer KI
Lab: Lab 05 — 05-Agent-Security
Hier wird es gefährlich.
Themen:
- Zu hohe Autonomie
- Missbrauch von Tools
- API-Verkettung
- Autonome Schleifen
- Berechtigungs-Eskalation
- Poisoning des Gedächtnisses
- Indirekte Tool-Ausführung
- Agenten-Spoofing
- Kredential-Leckage
- Mehr-Agenten-Angriffe
Abwehrmassnahmen:
- Least Privilege für Agenten
- Genehmigungsschwellen (Approval Gates)
- Richtlinien-Engines zur Laufzeit
- Sandboxing
- Eingeschränkte Credentials (Scoped Credentials)
- Whitelisting von Tools
- Mensch im Loop (Human-in-the-Loop)
Dies ist der Abschnitt, der Manager*innen in der Regel am meisten interessiert, da das Risiko hier operativ und geschäftsrelevant wird.
Modul 7 — API-Sicherheit für KI
Lab: Lab 06 — 06-Denial-of-Wallet
KI-Systeme sind stark API-lastig.
Themen:
- API-Gateways
- GraphQL-KI-Risiken
- MCP/API-Missbrauch
- JWT-Schutz
- Sicherheit von KI-Plugins
- Agenten-Authentifizierung
- Deklarative Autorisierung
- Secret-Management
- Versiegelte Prompts (Signed Prompts)
- API-Inventarisierung für KI
Anbindung an: OWASP API Security Top 10
Modul 8 — Detektions-Engineering & SOC-Integration
Lab: Lab 07 — 07-Detection
Operative Abwehr.
Themen:
- KI-Telemetrie
- Prompt-Logging
- Token-Analytik
- Anomalie-Erkennung
- Semantische SIEM-Pipelines
- KI-Angriffsindikatoren
- Threat Hunting auf LLM-Missbrauch
- KI-Laufzeitobservabilität
Beispiele:
- Erkennung von Jailbreak-Kampagnen
- Auffinden automatisierten Agenten-Missbrauchs
- Identifizierung von Model Scraping
Modul 9 — Cloud-WAFs und KI-Sicherheit
Lab: keine — interaktive Zusammenfassung/Diskussion
Anbieterspezifische Implementierungen.
Themen:
- AWS WAF für KI-APIs
- Azure WAF
- Cloudflare AI Gateway
- API-Gateways
- Envoy-KI-Filterung
- Kong AI Gateway
- NGINX-KISicherheitsmuster
Vergleich:
- Traditionelle WAF vs. KI-Gateway vs. Application-Layer-Guardrail
- Proxy-basiert vs. semantische Filterung
Modul 10 — Aufbau einer mehrschichtigen KI-Abwehr
Lab: Lab 08 — 08-Layered-Defense
Wichtige philosophische Schlussfolgerung:
Keine einzelne Schicht kann KI allein absichern (eine WAF schon gar nicht als Einzelkomponente).
Die Teilnehmenden erstellen ein mehrschichtiges Modell:
- WAF
- API-Gateway
- KI-Gateway
- Guardrails
- Laufzeitüberwachung
- Identität/Autorisierung
- Sandbox
- Menschliche Genehmigung
- Observabilität
- Incident Response
Dies steht stark im Einklang mit dem «Mehrschichten-Sicherheitsmodell» (Multi-Layer Security).
Modul ← Lab-Zuordnung
Die Labore laufen in der lab-spezifischen Reihenfolge ab, die der Modulreihenfolge folgt.
Der Kurs umfasst 10 Module, aber nur 8 Labore: Die Module 2 und 9 sind interaktive Zusammenfassungen/Diskussionen und haben kein Lab.
Jedes Lab ist in diesem Outline mit seinem jeweiligen Modul gekennzeichnet.
- Lab 01 (Modul 1)
- Ordner: 01-Einführung
- Titel: Ein KI-System erkunden — was ist im Netzwerk unterwegs?
- Lab 02 (Modul 3)
- Ordner: 02-Prompt-Injection
- Titel: Einen Chatbot angreifen & naive Filter umgehen
- Lab 03 (Modul 4)
- Ordner: 03-WAF-Basics
- Titel: KI-aware WAF-Regeln erstellen
- Lab 04 (Modul 5)
- Ordner: 04-RAG-Security
- Titel: Eine RAG-Pipeline vergiften
- Lab 05 (Modul 6)
- Ordner: 05-Agent-Security
- Titel: Einen autonomen Agenten sichern
- Lab 06 (Modul 7)
- Ordner: 06-Denial-of-Wallet
- Titel: Denial-of-Wallet-Angriffe erkennen
- Lab 07 (Modul 8)
- Ordner: 07-Detection
- Titel: KI-Missbrauchsmuster in Logs überwachen
- Lab 08 (Modul 10)
- Ordner: 08-Layered-Defense
- Titel: Eine mehrschichtige KI-Abwehrarchitektur aufbauen
Capstone-Projekt
Die Teilnehmenden verteidigen einen simulierten Unternehmens-KI-Assistenten.
Angreifer versuchen:
- Prompt-Injection
- Tool-Missbrauch
- Kapern von Credentials
- Poisoning der Suche (Retrieval)
- Zu hoher API-Verbrauch
- Agenten-Eskalation
Die Teams erstellen:
- WAF-Regeln
- KI-Gateway-Policies
- Laufzeitdetektion
- Guardrails
- Incident Response Pläne
Voraussetzungen
- Die Teilnehmenden sollten bereits Kenntnisse in HTTP/API-Sicherheit, Proxies/Reverse-Proxies, Authentifizierung, OWASP Top 10, REST-APIs und grundlegendem Cloud-Netzwerkdesign mitbringen.
Zielgruppe
- Sicherheitsingenieure & AppSec
- SOC-Analyst*innen & Detektions-Ingenieur*innen
- API-Sicherheitsingenieure
- Cloud-/API-/Plattformsicherheit
- DevSecOps-Ingenieure
- Sicherheitsarchitekten
- WAF-/Netzwerksicherheitspezialist*innen
- KI-Plattform-Ingenieur*innen
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung