Sichere und verantwortungsvolle LLM-Anwendungen entwickeln Schulung

Übersicht über die LLM-Architektur und die Angriffsfläche

• Wie LLMs erstellt, bereitgestellt und über APIs zugänglich gemacht werden
• Wesentliche Komponenten in LLM-Anwendungsstapeln (z. B. Prompts, Agenten, Speicher, APIs)
• Wo und wie Sicherheitsprobleme in der realen Nutzung entstehen

Prompt-Injection- und Jailbreak-Angriffe

• Was ist Prompt-Injection und warum ist es gefährlich?
• Szenarien für direkte und indirekte Prompt-Injection
• Jailbreak-Techniken zum Umgehen von Sicherheitsfiltern
• Erkennungs- und Minderungsstrategien

Datenlecks und Datenschutzrisiken

• Zufällige Datenoffenlegungen durch Antworten
• PII-Leaks und falsche Nutzung des Modellgedächtnisses
• Gestaltung datenschutzfreundlicher Prompts und retrieval-augmented generation (RAG)

LLM-Ausgabefilterung und -Absicherung

• Einsatz von Guardrails AI zur Inhaltsfilterung und Validierung
• Festlegung von Ausgabe-Schemata und Einschränkungen
• Überwachung und Protokollierung unsicherer Ausgaben

Ansätze mit menschlicher Überwachung (Human-in-the-Loop) und Workflow

• Wo und wann menschliche Überwachung eingeführt werden sollte
• Genehmigungswarteschlangen, Bewertungsschwellenwerte, Fallback-Verarbeitung
• Vertrauenskalibrierung und Rolle der Erklärbarkeit

Sichere Entwurfsmuster für LLM-Anwendungen

• Geringste Berechtigungen und Sandboxing für API-Aufrufe und Agenten
• Ratenbegrenzung, Throttling und Erkennung von Missbrauch
• Robuste Verkettung mit LangChain und Prompt-Isolation

Einhaltung, Protokollierung und Governance

• Sicherstellung der Überprüfbarkeit von LLM-Ausgaben
• Wahrung der Rückverfolgbarkeit sowie der Prompt-/Versionskontrolle
• Ausrichtung an internen Sicherheitsrichtlinien und regulatorischen Anforderungen

Zusammenfassung und nächste Schritte