Kontakt aufnehmen

Schulungsübersicht

Modul 1 – Wie KI-Anwendungen kaputtgehen

Lab: Keines – Architekturdurchlauf & Diskussion

Das mentale Modell eines Entwicklers für die Angriffsfläche.

Themen:

  • LLM-, RAG- und Agent-Architekturen aus Sicht des Entwicklers
  • Der Anfrage-/Antwort-Lebenszyklus einer KI-Funktion
  • Prompt-Flow: System-, Entwickler-, Benutzer- und Tool-Nachrichten
  • Wo unzuverlässige Daten eintreten (und wieder eintreten) in das Modell
  • Die Vertrauensgrenzen, die ein Entwickler besitzt versus erbt
  • Warum KI-Angriffe semantisch und nicht syntaktisch sind
  • Zuordnung der OWASP LLM Top 10 zum geschriebenen Code

Wichtige Erkenntnis: Jeder Ort, an dem unzuverlässiger Text das Modell erreicht (oder Modellausgaben den Code), ist eine Grenze, die Sie besitzen.

Modul 2 – Prompt Injection für Ersteller

Lab: Lab 01 – 01-Prompt-Injection

Der "SQL-Injection-Moment" für KI – aber man kann ihm nicht vollständig entkommen.

Themen:

  • Direkte versus indirekte Prompt Injection
  • Versteckte Anweisungen in Dokumenten, Webseiten und Tool-Ausgaben
  • Jailbreaks und Rollensicherheit
  • Warum die Trennung von Anweisung und Daten wichtig ist
  • Defensives Prompt-Design (Trennzeichen, Struktur, minimale Autorität)
  • Warum Prävention nur teilweise funktioniert – Auslegen auf containment

Praktische Übung:

  • Angreifen des eigenen Chatbots
  • Umgehen eines naiven Filters
  • Umbauen des Prompts, um den Explosionsradius zu verkleinern

Modul 3 – Modellausgabe als unzuverlässig behandeln

Lab: Lab 02 – 02-Output-Handling

Die Fehlerklasse, die Entwickler am meisten unterschätzen.

Themen:

  • Modellausgabe als unzuverlässige Eingabe für den Rest der Anwendung
  • Unsicherer Output-Handhabung (LLM02): XSS, SSRF, Command-/SQL Injection im weiteren Verlauf
  • Raw-Modellausgabe niemals eval/exec/rendern
  • Strukturierte Ausgaben und Schemavalidierung
  • Ausgabenkodierung und Allowlists
  • Sicheres Rendering in Web-/UI-Kontexten

Praktische Übung:

  • Finden und Beheben einer Sicherheitslücke im unsicheren Output-Handling
  • Eine JSON-Schema für Modellantworten durchsetzen

Modul 4 – RAG-Sicherheit

Lab: Lab 03 – 03-RAG-Security

Eines der grössten neuen Angriffsflächen – und Sie sind dafür verantwortlich, sie zu bauen.

Themen:

  • Vector-DB- und Retrieval-Bedrohungen
  • Ingestion-Sanitization
  • Dokumentenherrkunft und Vertrauensbewertung
  • Retrieval-Scoping und Metadatenisolation
  • Versteckte Anweisungen im abgerufenen Inhalt (indirekte Injection)
  • Datenexfiltration über Retrieval

Praktische Übung: Eine RAG-Pipeline mit einem bösartigen Dokument vergiften – Ingestion-Sanitization und Retrieval-Scoping zum Schutz hinzufügen.

Modul 5 – Agent- & Tool-Sicherheit

Lab: Lab 04 – 04-Agent-Safety

Wo ein Fehler zu einer Aktion wird.

Themen:

  • Zu grosse Handlungsmacht (LLM06) und Tool-Missbrauch
  • Least Privilege für Agents
  • Tool-Allowlists und Argumentvalidierung
  • Approval-Gates und Mensch-im-Loop
  • Sandboxing der Tool-Ausführung
  • Eingegrenzte, kurzlebige Credentials für Agents
  • Begrenzung autonomer Schleifen und Verkettungen

Praktische Übung:

  • Einen zu weit berechtigten Agent einschränken
  • Eine Allowlist + Approval-Gate für ein gefährliches Tool hinzufügen

Modul 6 – Geheimnisse, Identität & Kosten

Lab: Lab 05 – 05-Secrets-and-Cost

Die operativen Fehler, die am schnellsten schaden.

Themen:

  • Management von API-Schlüsseln und Geheimnissen (niemals in Prompts, Code oder Logs)
  • Pro-Benutzer-Authentifizierung und -Autorisierung für KI-Funktionen
  • Weitergeben der Benutzeridentität an Tools und Retrieval
  • Denial-of-Wallet: grenzenloser Token-/Kostenverbrauch
  • Ratenlimits, Token-Budgets und Timeouts
  • Logging ohne Leckage von Geheimnissen oder PII

Praktische Übung:

  • Geheimnisse aus dem Prompt-/Code-Pfad entfernen
  • Pro-Benutzer-Ratenlimits und ein Token-/Kostenbudget hinzufügen

Modul 7 – Guardrail-Bibliotheken

Lab: Lab 06 – 06-Guardrails

Kaufen versus Bauen für Eingabe-/Ausgabesicherheit.

Themen:

  • Was Guardrail-Frameworks tun (und was nicht)
  • Eingabe-Guardrails: Injection-/PII-/Themenklassifikatoren
  • Ausgabe-Guardrails: Validierung, Filterung, Grounding-Checks
  • Wann ein Guardrail angemessen ist versus eine eigene deterministische Prüfung
  • Überlagerung von Guardrails mit den Kontrollen aus früheren Modulen
  • Leistung, False Positives und Fehlermodi

Praktische Übung:

  • Einen Eingabe-/Ausgabe-Guardrail-Layer zu einer KI-Funktion hinzufügen
  • Messen, was es fängt und was es verpasst

Modul 8 – Red-Teaming der eigenen App

Lab: Lab 07 – 07-Red-Teaming

Stellen Sie es bereit, als hätte ein Angreifer es bereits.

Themen:

  • Erstellen einer Abuse-/Test-Suite für KI-Funktionen
  • Automatisierte Prompt-Injection- und Jailbreak-Tests
  • Regressionstests für Guardrails und Richtlinien
  • Ausführen von KI-Sicherheitschecks in CI
  • Versorgungskette von Modellen und Abhängigkeiten (Herkunft, Pinnung)
  • eine Pre-Ship-Sicherheitscheckliste für KI-Funktionen

Praktische Übung:

  • Automatisierte Red-Team-Tests für eine KI-Funktion schreiben
  • Diese in einen CI-Check einbinden

Modul 9 – Bewertung der KI-Sicherheit: Das SAIS-100 Framework

Lab: Keines – Bewertungsübung (verwendet die Capstone-App)

Machen Sie aus allem, was Sie gebaut haben, eine wiederholbare Punktzahl.

Themen:

  • Das KI-Sicherheits-Hexagon: sechs Fragen statt "Ist es sicher?"
  • Die sechs bewerteten Kategorien (Data, Prompt, Agent, Supply Chain, Detection, Governance)
  • Die 100-Punkte-Rubrik und ihre Gewichtungen
  • Urteil-Bänder und die Regel für den Single-Category-Override
  • Der Elephant Scale Secure AI Score (SAIS-100) als marke, wiederausführbares Framework
  • Bewertung vor/nach Hardening als Metrik

Praktische Übung:

  • Die Capstone-App auf der 100-Punkte-Skala bewerten
  • Die eine Änderung benennen, die den Score am meisten erhöht

Wichtige Erkenntnis: Die drei höchstgewichteten Kategorien entsprechen den Vertrauensgrenzen, die ein Entwickler besitzt – misst der Score also genau das, was dieser Kurs gelehrt hat.

Capstone

Studenten härten eine absichtlich anfällige KI-Anwendung durchgehend ab.

Die Starter-App enthält:

  • einen injizierbaren Prompt
  • unsicheres Output-Handling
  • ein unscoped RAG-Pipeline
  • einen zu weit berechtigten Agent
  • Geheimnisse im Prompt-Pfad
  • keine Kostenlimits

Studenten wenden den Kurs an:

  • Prompts für Containment umbauen
  • Modellausgaben validieren und kodieren
  • Retrieval sanitieren und scopen
  • Least Privilege und Approval-Gates auf den Agent anwenden
  • Geheimnisse entfernen und Kosten-/Ratenlimits hinzufügen
  • Guardrails und automatisierte Red-Team-Tests hinzufügen

Liefergegenstand: eine gehärtete App plus eine kurze OWASP LLM Top 10 Selbstbewertung.

Modul-Lab-Zuordnung

Die Labs werden in Reihenfolge durchgeführt, die der Modulreihenfolge folgt. Der Kurs hat 9 Module und 7 Labs: Modul 1 ist ein Architekturdurchlauf/Diskussion und Modul 9 ist eine Bewertungsübung, daher keines davon hat seinen eigenen Lab-Ordner.

  • Lab 01 - 01-Prompt-Injection: Chatbot angreifen & für Containment entwerfen (Modul 2)
  • Lab 02 - 02-Output-Handling: Einen Bug im unsicheren Output-Handling beheben (Modul 3)
  • Lab 03 - 03-RAG-Security: Eine RAG-Pipeline vergiften und dann verteidigen (Modul 4)
  • Lab 04 - 04-Agent-Safety: Einen zu weit berechtigten Agent einschränken (Modul 5)
  • Lab 05 - 05-Secrets-and-Cost: Schlüssel sichern + Kosten-Guardrails hinzufügen (Modul 6)
  • Lab 06 - 06-Guardrails: Einen Eingabe-/Ausgabe-Guardrail-Layer hinzufügen (Modul 7)
  • Lab 07 - 07-Red-Teaming: Automatisierte Red-Team-Tests in CI (Modul 8)

Modul 1 (Wie KI-Anwendungen kaputtgehen) hat kein Lab – es läuft als Architekturdurchlauf und Diskussion. Modul 9 (Bewertung der KI-Sicherheit) hat keinen Lab-Ordner – es läuft als Bewertungsübung gegen die Capstone-App.

Voraussetzungen

  • Kenntnisstand: Fortgeschritten.
  • Die Teilnehmenden sollten sicher sein im Umgang mit: dem Erstellen und Konsumieren von REST-APIs, einer Skriptsprache (die Labs verwenden Python), grundlegender Anwendungsauthentifizierung, git und der CLI.
  • Keine Vorkenntnisse in Machine Learning erforderlich – dies ist ein Anwendungssicherheitskurs für Personen, die mit LLMs entwickeln, nicht für solche, die sie trainieren.

Zielgruppe

  • Software-/Backend-Ingenieure, die KI-Funktionen entwickeln
  • Full-Stack- und API-Entwickler
  • KI/ML-Anwendungsentwickler
  • Platform-Ingenieure, die Copilots und Agents bereitstellen
  • Tech-Leads und Senior Engineers, die für KI-Funktionen verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien