Kontakt aufnehmen

Schulungsübersicht

Die KI-Bedrohungslandschaft

  • Warum KI-Sicherheit anders ist: Nicht-Determinismus, undurchsichtige Schlussfolgerungen, Prompt als Angriffsfläche.
  • Angriffstaxonomie: Angriffe während des Trainings, der Inferenz und in der Lieferkette.
  • Das ML-Gegnermodell: Wer greift KI-Systeme an und warum?

OWASP Top 10 für LLM-Anwendungen

  • Prompt-Injection: direkte und indirekte Angriffvektoren.
  • Unsicherer Umgang mit Ausgaben und Cross-Plugin Request Forgery.
  • Data Poisoning im Training und Schwachstellen in der Lieferkette.
  • Model Denial of Service, Offenlegung sensibler Informationen und excessive agency.
  • Praktisches Labor: Ausnutzen jeder OWASP-Kategorie gegen eine Testanwendung.

Prompt-Injection und Jailbreak-Red-Teaming

  • Taxonomie von Injection-Techniken: direkt, indirekt, multi-turn und multimodal.
  • Automatisiertes Red Teaming mit Giskard, Garak und benutzerdefinierten Fuzzing-Tools.
  • Klassifizierung von Jailbreaks und Bewertung der Abwehrmaßnahmen.
  • Erstellung einer Red-Team-Harness für kontinuierliche KI-Sicherheitstests.

Angriffe auf Modellebene und Verteidigung

  • Model Extraction: Diebstahl von Modellgewichten und -funktionalität über API-Abfragen.
  • Membership Inference: Feststellen, ob Daten im Trainingsset enthalten waren.
  • Adversarialische Beispiele: Störungen, die Klassifikatoren und Embeddings täuschen.
  • Data Poisoning: Beschädigung der Trainingsdaten, um Backdoors zu erzeugen oder die Leistung zu mindern.

Sicherheitskontrollen für Eingabe und Ausgabe

  • Eingabesanitisierung über traditionelle Web-Sicherheitsmassnahmen hinaus.
  • Ausgabe-Filterung: Toxizität, PII-Leckage, halluzinierte Code-Ausführung.
  • Guardrails als Sicherheitsinfrastruktur: NeMo, Guardrails AI und benutzerdefinierte Richtlinien.
  • Durchsetzung strukturierter Ausgaben als Sicherheitsgrenze.

KI-Lieferkettensicherheit

  • Modellprovenienz: Überprüfung der Modellauthentizität und -integrität.
  • Abhängigkeitsscanning für ML-Frameworks und Modellformate.
  • Sicheres Model Serving: Sandboxing, Netzwerkisolation und Least-Privilege-Zugriff.
  • Bewertung von fine-tuned Modellen und Community-Modellen auf eingebettete Malware.

Operationale Sicherheit für KI-Systeme

  • Zugriffssteuerung für Modellendpunkte, Vector Stores und Agent-Tools.
  • Audit-Logging für jede Modellinteraktion und -entscheidung.
  • Incident Response für KI-spezifische Sicherheitsvorfälle: wenn das Modell selbst kompromittiert ist.
  • Kontinuierliche Sicherheitstests in CI/CD für ML-Pipelines.

Aufbau eines KI-Sicherheitsprogramms

  • Reifegradmodell und Roadmap für KI-Sicherheit.
  • Integration der KI-Sicherheit in bestehende AppSec- und Cloud-Sicherheitsprogramme.
  • Governance-Rahmenwerke und aktuelle Regulierungen für KI-Systeme.
  • Erstellung und Pflege eines organisationsspezifischen KI-Sicherheitsspielplans.

Voraussetzungen

  • Erfahrung im Deployment von ML-Modellen oder LLM-Anwendungen in der Produktionsumgebung.
  • Vertrautheit mit Sicherheitskonzepten, einschließlich Authentifizierung, Autorisierung und Threat Modeling.
  • Python-Kenntnisse für adversarialische Testübungen.

Zielgruppe

  • Sicherheitsingenieure, die sich in den Bereich AI/ML-Bedrohungsflächen vorarbeiten.
  • ML-Ingenieure, die für die Sicherheit und Robustheit von Modellen verantwortlich sind.
  • Mitglieder des Red Teams, die KI-Systeme in ihren Prüfungsumfang aufnehmen.
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien