Schulungsübersicht
Modul 1 – Wie KI-Anwendungen kaputtgehen
Lab: Keines – Architekturdurchlauf & Diskussion
Das mentale Modell eines Entwicklers für die Angriffsfläche.
Themen:
- LLM-, RAG- und Agent-Architekturen aus Sicht des Entwicklers
- Der Anfrage-/Antwort-Lebenszyklus einer KI-Funktion
- Prompt-Flow: System-, Entwickler-, Benutzer- und Tool-Nachrichten
- Wo unzuverlässige Daten eintreten (und wieder eintreten) in das Modell
- Die Vertrauensgrenzen, die ein Entwickler besitzt versus erbt
- Warum KI-Angriffe semantisch und nicht syntaktisch sind
- Zuordnung der OWASP LLM Top 10 zum geschriebenen Code
Wichtige Erkenntnis: Jeder Ort, an dem unzuverlässiger Text das Modell erreicht (oder Modellausgaben den Code), ist eine Grenze, die Sie besitzen.
Modul 2 – Prompt Injection für Ersteller
Lab: Lab 01 – 01-Prompt-Injection
Der "SQL-Injection-Moment" für KI – aber man kann ihm nicht vollständig entkommen.
Themen:
- Direkte versus indirekte Prompt Injection
- Versteckte Anweisungen in Dokumenten, Webseiten und Tool-Ausgaben
- Jailbreaks und Rollensicherheit
- Warum die Trennung von Anweisung und Daten wichtig ist
- Defensives Prompt-Design (Trennzeichen, Struktur, minimale Autorität)
- Warum Prävention nur teilweise funktioniert – Auslegen auf containment
Praktische Übung:
- Angreifen des eigenen Chatbots
- Umgehen eines naiven Filters
- Umbauen des Prompts, um den Explosionsradius zu verkleinern
Modul 3 – Modellausgabe als unzuverlässig behandeln
Lab: Lab 02 – 02-Output-Handling
Die Fehlerklasse, die Entwickler am meisten unterschätzen.
Themen:
- Modellausgabe als unzuverlässige Eingabe für den Rest der Anwendung
- Unsicherer Output-Handhabung (LLM02): XSS, SSRF, Command-/SQL Injection im weiteren Verlauf
- Raw-Modellausgabe niemals eval/exec/rendern
- Strukturierte Ausgaben und Schemavalidierung
- Ausgabenkodierung und Allowlists
- Sicheres Rendering in Web-/UI-Kontexten
Praktische Übung:
- Finden und Beheben einer Sicherheitslücke im unsicheren Output-Handling
- Eine JSON-Schema für Modellantworten durchsetzen
Modul 4 – RAG-Sicherheit
Lab: Lab 03 – 03-RAG-Security
Eines der grössten neuen Angriffsflächen – und Sie sind dafür verantwortlich, sie zu bauen.
Themen:
- Vector-DB- und Retrieval-Bedrohungen
- Ingestion-Sanitization
- Dokumentenherrkunft und Vertrauensbewertung
- Retrieval-Scoping und Metadatenisolation
- Versteckte Anweisungen im abgerufenen Inhalt (indirekte Injection)
- Datenexfiltration über Retrieval
Praktische Übung: Eine RAG-Pipeline mit einem bösartigen Dokument vergiften – Ingestion-Sanitization und Retrieval-Scoping zum Schutz hinzufügen.
Modul 5 – Agent- & Tool-Sicherheit
Lab: Lab 04 – 04-Agent-Safety
Wo ein Fehler zu einer Aktion wird.
Themen:
- Zu grosse Handlungsmacht (LLM06) und Tool-Missbrauch
- Least Privilege für Agents
- Tool-Allowlists und Argumentvalidierung
- Approval-Gates und Mensch-im-Loop
- Sandboxing der Tool-Ausführung
- Eingegrenzte, kurzlebige Credentials für Agents
- Begrenzung autonomer Schleifen und Verkettungen
Praktische Übung:
- Einen zu weit berechtigten Agent einschränken
- Eine Allowlist + Approval-Gate für ein gefährliches Tool hinzufügen
Modul 6 – Geheimnisse, Identität & Kosten
Lab: Lab 05 – 05-Secrets-and-Cost
Die operativen Fehler, die am schnellsten schaden.
Themen:
- Management von API-Schlüsseln und Geheimnissen (niemals in Prompts, Code oder Logs)
- Pro-Benutzer-Authentifizierung und -Autorisierung für KI-Funktionen
- Weitergeben der Benutzeridentität an Tools und Retrieval
- Denial-of-Wallet: grenzenloser Token-/Kostenverbrauch
- Ratenlimits, Token-Budgets und Timeouts
- Logging ohne Leckage von Geheimnissen oder PII
Praktische Übung:
- Geheimnisse aus dem Prompt-/Code-Pfad entfernen
- Pro-Benutzer-Ratenlimits und ein Token-/Kostenbudget hinzufügen
Modul 7 – Guardrail-Bibliotheken
Lab: Lab 06 – 06-Guardrails
Kaufen versus Bauen für Eingabe-/Ausgabesicherheit.
Themen:
- Was Guardrail-Frameworks tun (und was nicht)
- Eingabe-Guardrails: Injection-/PII-/Themenklassifikatoren
- Ausgabe-Guardrails: Validierung, Filterung, Grounding-Checks
- Wann ein Guardrail angemessen ist versus eine eigene deterministische Prüfung
- Überlagerung von Guardrails mit den Kontrollen aus früheren Modulen
- Leistung, False Positives und Fehlermodi
Praktische Übung:
- Einen Eingabe-/Ausgabe-Guardrail-Layer zu einer KI-Funktion hinzufügen
- Messen, was es fängt und was es verpasst
Modul 8 – Red-Teaming der eigenen App
Lab: Lab 07 – 07-Red-Teaming
Stellen Sie es bereit, als hätte ein Angreifer es bereits.
Themen:
- Erstellen einer Abuse-/Test-Suite für KI-Funktionen
- Automatisierte Prompt-Injection- und Jailbreak-Tests
- Regressionstests für Guardrails und Richtlinien
- Ausführen von KI-Sicherheitschecks in CI
- Versorgungskette von Modellen und Abhängigkeiten (Herkunft, Pinnung)
- eine Pre-Ship-Sicherheitscheckliste für KI-Funktionen
Praktische Übung:
- Automatisierte Red-Team-Tests für eine KI-Funktion schreiben
- Diese in einen CI-Check einbinden
Modul 9 – Bewertung der KI-Sicherheit: Das SAIS-100 Framework
Lab: Keines – Bewertungsübung (verwendet die Capstone-App)
Machen Sie aus allem, was Sie gebaut haben, eine wiederholbare Punktzahl.
Themen:
- Das KI-Sicherheits-Hexagon: sechs Fragen statt "Ist es sicher?"
- Die sechs bewerteten Kategorien (Data, Prompt, Agent, Supply Chain, Detection, Governance)
- Die 100-Punkte-Rubrik und ihre Gewichtungen
- Urteil-Bänder und die Regel für den Single-Category-Override
- Der Elephant Scale Secure AI Score (SAIS-100) als marke, wiederausführbares Framework
- Bewertung vor/nach Hardening als Metrik
Praktische Übung:
- Die Capstone-App auf der 100-Punkte-Skala bewerten
- Die eine Änderung benennen, die den Score am meisten erhöht
Wichtige Erkenntnis: Die drei höchstgewichteten Kategorien entsprechen den Vertrauensgrenzen, die ein Entwickler besitzt – misst der Score also genau das, was dieser Kurs gelehrt hat.
Capstone
Studenten härten eine absichtlich anfällige KI-Anwendung durchgehend ab.
Die Starter-App enthält:
- einen injizierbaren Prompt
- unsicheres Output-Handling
- ein unscoped RAG-Pipeline
- einen zu weit berechtigten Agent
- Geheimnisse im Prompt-Pfad
- keine Kostenlimits
Studenten wenden den Kurs an:
- Prompts für Containment umbauen
- Modellausgaben validieren und kodieren
- Retrieval sanitieren und scopen
- Least Privilege und Approval-Gates auf den Agent anwenden
- Geheimnisse entfernen und Kosten-/Ratenlimits hinzufügen
- Guardrails und automatisierte Red-Team-Tests hinzufügen
Liefergegenstand: eine gehärtete App plus eine kurze OWASP LLM Top 10 Selbstbewertung.
Modul-Lab-Zuordnung
Die Labs werden in Reihenfolge durchgeführt, die der Modulreihenfolge folgt. Der Kurs hat 9 Module und 7 Labs: Modul 1 ist ein Architekturdurchlauf/Diskussion und Modul 9 ist eine Bewertungsübung, daher keines davon hat seinen eigenen Lab-Ordner.
- Lab 01 - 01-Prompt-Injection: Chatbot angreifen & für Containment entwerfen (Modul 2)
- Lab 02 - 02-Output-Handling: Einen Bug im unsicheren Output-Handling beheben (Modul 3)
- Lab 03 - 03-RAG-Security: Eine RAG-Pipeline vergiften und dann verteidigen (Modul 4)
- Lab 04 - 04-Agent-Safety: Einen zu weit berechtigten Agent einschränken (Modul 5)
- Lab 05 - 05-Secrets-and-Cost: Schlüssel sichern + Kosten-Guardrails hinzufügen (Modul 6)
- Lab 06 - 06-Guardrails: Einen Eingabe-/Ausgabe-Guardrail-Layer hinzufügen (Modul 7)
- Lab 07 - 07-Red-Teaming: Automatisierte Red-Team-Tests in CI (Modul 8)
Modul 1 (Wie KI-Anwendungen kaputtgehen) hat kein Lab – es läuft als Architekturdurchlauf und Diskussion. Modul 9 (Bewertung der KI-Sicherheit) hat keinen Lab-Ordner – es läuft als Bewertungsübung gegen die Capstone-App.
Voraussetzungen
- Kenntnisstand: Fortgeschritten.
- Die Teilnehmenden sollten sicher sein im Umgang mit: dem Erstellen und Konsumieren von REST-APIs, einer Skriptsprache (die Labs verwenden Python), grundlegender Anwendungsauthentifizierung, git und der CLI.
- Keine Vorkenntnisse in Machine Learning erforderlich – dies ist ein Anwendungssicherheitskurs für Personen, die mit LLMs entwickeln, nicht für solche, die sie trainieren.
Zielgruppe
- Software-/Backend-Ingenieure, die KI-Funktionen entwickeln
- Full-Stack- und API-Entwickler
- KI/ML-Anwendungsentwickler
- Platform-Ingenieure, die Copilots und Agents bereitstellen
- Tech-Leads und Senior Engineers, die für KI-Funktionen verantwortlich sind
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung