Kontakt aufnehmen

Schulungsübersicht

Modul 1 — KI-Systeme für Sicherheitsingenieure

Lab: Lab 01 — 01-Einführung

Verständnis der Architektur.

Themen:

  • LLMs im Vergleich zu herkömmlichen Anwendungen
  • KI-Inference-Pipelines
  • Prompt-Flows
  • RAG-Architektur
  • Embeddings/Vector-Datenbanken
  • Agentic Workflows
  • Tool-Calling
  • KI-Gateways
  • Copilots
  • MCP und Agenten-Protokolle
  • Wo WAF-Sichtbarkeit existiert
  • Wo WAF-Sichtbarkeit endet

Wichtige Erkenntnis: Herkömmliche WAFs verlieren oft die Sichtbarkeit, sobald der Prompt das Modell erreicht hat.

Modul 2 — OWASP GenAI Top 10

Lab: keine — interaktive Zusammenfassung/Diskussion

Kernkategorien von KI-Angriffen.

Themen:

  • Prompt-Injection
  • Schwacher Umgang mit Ausgabe
  • Poisoning der Trainingsdaten
  • Model DoS (Denial of Service)
  • Lieferkettenverwundbarkeiten
  • Offenlegung sensibler Informationen
  • Zu hohe Autonomie (Excessive Agency)
  • Schwachstellen bei Vector/Embeddings
  • Fehlinformationen
  • Nicht limitierter Ressourcenverbrauch (Unbounded Consumption)

Inklusive:

  • Unterschiede zur klassischen OWASP-Liste
  • Zuordnung zu defensiven Kontrollen (WAF, Gateway, Application-Layer)
  • Wo jede Kontrolle hilft
  • Wo jede Kontrolle versagt

Modul 3 — Erkennung von Prompt-Injection

Lab: Lab 02 — 02-Prompt-Injection

Der «SQL-Injection-Moment» für KI.

Themen:

  • Direkte Prompt-Injection
  • Indirekte Prompt-Injection
  • Versteckte Anweisungen
  • Dokumentbasierte Angriffe
  • HTML/Markdown-Injection
  • Jailbreak-Muster
  • Kontext-Überschreibungsangriffe
  • Rollenverwirrungsangriffe

Detektionsstrategien:

  • Keyword-Heuristik
  • Semantische Klassifizierung
  • Prompt-Linting
  • Durchsetzung von Anweisungs-Grenzen
  • Allow-/Deny-Policies
  • KI-angepasste Regex-Muster

Praktische Labore:

  • Einen Chatbot angreifen
  • Naive Filter umgehen
  • Mehrschichtige Detektion aufbauen

Modul 4 — KI-angepasste WAF-Regeln

Lab: Lab 03 — 03-WAF-Basics

Wie sich WAF-Regeln für KI-Systeme weiterentwickeln.

  • Themen:
  • Schutz von LLM-Endpunkten
  • Schutz der Inference-API
  • Token-awarees Rate Limiting
  • Inspektion der Prompt-Grösse
  • KI-spezifische Signaturen
  • Erkennung von Konversations-Anomalien
  • Mehrfache Missbrauchsmuster
  • Versuche der Modell-Enumeration
  • Inference-Scraping
  • Schutz vor Denial-of-Wallet-Angriffen

Beispiele:

  • Schutz von /v1/chat/completions
  • Schutz von Streaming-APIs
  • Abschneiden rekursiver Agentenaufrufe

Modul 5 — Absicherung von RAG-Pipelines

Lab: Lab 04 — 04-RAG-Security

Eines der grössten neuen Angriffsflächen.

Themen:

  • Gefahren durch Vector-Datenbanken
  • Poisoning von Embeddings
  • Bösartige PDFs/Dokumente
  • Manipulation der Suche (Retrieval)
  • Semantisches Poisoning
  • Versteckte Anweisungen in Dokumenten
  • Übergreifende Kontamination zwischen Dokumenten
  • Datenexfiltration via Retrieval

Abwehrmassnahmen:

  • Sanitization bei der Ingestion
  • Vertrauenswürdigkeitsbewertung (Trust Scoring)
  • Isolation von Metadaten
  • Dokumentenherkunftsnachweis
  • Retrieval-Policies
  • Segmentierung

Case Study: «Laden Sie ein vergiftetes PDF hoch und übernehmen Sie die Kontrolle über den KI-Assistenten.»

Modul 6 — Sicherheit agenticer KI

Lab: Lab 05 — 05-Agent-Security

Hier wird es gefährlich.

Themen:

  • Zu hohe Autonomie
  • Missbrauch von Tools
  • API-Verkettung
  • Autonome Schleifen
  • Berechtigungs-Eskalation
  • Poisoning des Gedächtnisses
  • Indirekte Tool-Ausführung
  • Agenten-Spoofing
  • Kredential-Leckage
  • Mehr-Agenten-Angriffe

Abwehrmassnahmen:

  • Least Privilege für Agenten
  • Genehmigungsschwellen (Approval Gates)
  • Richtlinien-Engines zur Laufzeit
  • Sandboxing
  • Eingeschränkte Credentials (Scoped Credentials)
  • Whitelisting von Tools
  • Mensch im Loop (Human-in-the-Loop)

Dies ist der Abschnitt, der Manager*innen in der Regel am meisten interessiert, da das Risiko hier operativ und geschäftsrelevant wird.

Modul 7 — API-Sicherheit für KI

Lab: Lab 06 — 06-Denial-of-Wallet

KI-Systeme sind stark API-lastig.

Themen:

  • API-Gateways
  • GraphQL-KI-Risiken
  • MCP/API-Missbrauch
  • JWT-Schutz
  • Sicherheit von KI-Plugins
  • Agenten-Authentifizierung
  • Deklarative Autorisierung
  • Secret-Management
  • Versiegelte Prompts (Signed Prompts)
  • API-Inventarisierung für KI

Anbindung an: OWASP API Security Top 10

Modul 8 — Detektions-Engineering & SOC-Integration

Lab: Lab 07 — 07-Detection

Operative Abwehr.

Themen:

  • KI-Telemetrie
  • Prompt-Logging
  • Token-Analytik
  • Anomalie-Erkennung
  • Semantische SIEM-Pipelines
  • KI-Angriffsindikatoren
  • Threat Hunting auf LLM-Missbrauch
  • KI-Laufzeitobservabilität

Beispiele:

  • Erkennung von Jailbreak-Kampagnen
  • Auffinden automatisierten Agenten-Missbrauchs
  • Identifizierung von Model Scraping

Modul 9 — Cloud-WAFs und KI-Sicherheit

Lab: keine — interaktive Zusammenfassung/Diskussion

Anbieterspezifische Implementierungen.

Themen:

  • AWS WAF für KI-APIs
  • Azure WAF
  • Cloudflare AI Gateway
  • API-Gateways
  • Envoy-KI-Filterung
  • Kong AI Gateway
  • NGINX-KISicherheitsmuster

Vergleich:

  • Traditionelle WAF vs. KI-Gateway vs. Application-Layer-Guardrail
  • Proxy-basiert vs. semantische Filterung

Modul 10 — Aufbau einer mehrschichtigen KI-Abwehr

Lab: Lab 08 — 08-Layered-Defense

Wichtige philosophische Schlussfolgerung:

Keine einzelne Schicht kann KI allein absichern (eine WAF schon gar nicht als Einzelkomponente).

Die Teilnehmenden erstellen ein mehrschichtiges Modell:

  1. WAF
  2. API-Gateway
  3. KI-Gateway
  4. Guardrails
  5. Laufzeitüberwachung
  6. Identität/Autorisierung
  7. Sandbox
  8. Menschliche Genehmigung
  9. Observabilität
  10. Incident Response

Dies steht stark im Einklang mit dem «Mehrschichten-Sicherheitsmodell» (Multi-Layer Security).

Modul ← Lab-Zuordnung

Die Labore laufen in der lab-spezifischen Reihenfolge ab, die der Modulreihenfolge folgt.

Der Kurs umfasst 10 Module, aber nur 8 Labore: Die Module 2 und 9 sind interaktive Zusammenfassungen/Diskussionen und haben kein Lab.

Jedes Lab ist in diesem Outline mit seinem jeweiligen Modul gekennzeichnet.

  • Lab 01 (Modul 1)
    • Ordner: 01-Einführung
    • Titel: Ein KI-System erkunden — was ist im Netzwerk unterwegs?
  • Lab 02 (Modul 3)
    • Ordner: 02-Prompt-Injection
    • Titel: Einen Chatbot angreifen & naive Filter umgehen
  • Lab 03 (Modul 4)
    • Ordner: 03-WAF-Basics
    • Titel: KI-aware WAF-Regeln erstellen
  • Lab 04 (Modul 5)
    • Ordner: 04-RAG-Security
    • Titel: Eine RAG-Pipeline vergiften
  • Lab 05 (Modul 6)
    • Ordner: 05-Agent-Security
    • Titel: Einen autonomen Agenten sichern
  • Lab 06 (Modul 7)
    • Ordner: 06-Denial-of-Wallet
    • Titel: Denial-of-Wallet-Angriffe erkennen
  • Lab 07 (Modul 8)
    • Ordner: 07-Detection
    • Titel: KI-Missbrauchsmuster in Logs überwachen
  • Lab 08 (Modul 10)
    • Ordner: 08-Layered-Defense
    • Titel: Eine mehrschichtige KI-Abwehrarchitektur aufbauen

Capstone-Projekt

Die Teilnehmenden verteidigen einen simulierten Unternehmens-KI-Assistenten.

Angreifer versuchen:

  1. Prompt-Injection
  2. Tool-Missbrauch
  3. Kapern von Credentials
  4. Poisoning der Suche (Retrieval)
  5. Zu hoher API-Verbrauch
  6. Agenten-Eskalation

Die Teams erstellen:

  • WAF-Regeln
  • KI-Gateway-Policies
  • Laufzeitdetektion
  • Guardrails
  • Incident Response Pläne

Voraussetzungen

  • Die Teilnehmenden sollten bereits Kenntnisse in HTTP/API-Sicherheit, Proxies/Reverse-Proxies, Authentifizierung, OWASP Top 10, REST-APIs und grundlegendem Cloud-Netzwerkdesign mitbringen.

Zielgruppe

  • Sicherheitsingenieure & AppSec
  • SOC-Analyst*innen & Detektions-Ingenieur*innen
  • API-Sicherheitsingenieure
  • Cloud-/API-/Plattformsicherheit
  • DevSecOps-Ingenieure
  • Sicherheitsarchitekten
  • WAF-/Netzwerksicherheitspezialist*innen
  • KI-Plattform-Ingenieur*innen
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien