Kontakt aufnehmen

Schulungsübersicht

Offline-Bereitstellung von EXO

  • Nutzung von EXO_OFFLINE zur Verhinderung des Internetzugriffs zur Laufzeit
  • Vorladen von Modellen in EXO_MODELS_READ_ONLY_DIRS von vertrauenswürdigen internen Spiegeln
  • Überprüfung der Modellgewichtsintegrität mit SHA-256-Prüfsummen und signierten Modellkarten
  • Betrieb von EXO in luftgedichteten Netzwerken ohne HuggingFace-Abhängigkeiten

Dashboard- und API-Zugriffskontrolle

  • Installation und Konfiguration von Reverse Proxies (nginx, Caddy) mit TLS-Terminierung
  • Implementierung rollenbasierter Zugriffskontrolle für das EXO-Dashboard und die REST-API
  • Verwendung des macOS-Schlüsselbunds oder Linux pass zum Speichern von Geheimnissen für die API-Authentifizierung
  • Einschränkung administrativer Endpunkte auf bestimmte Quell-IP-Bereiche

Cluster-Isolation und Netzwerksicherheit

  • Trennung von EXO-Clustern mit EXO_LIBP2P_NAMESPACE und VLANs
  • Konfiguration von Host-Firewalls (macOS-Anwendungsfirewall, iptables, nftables) für EXO-Ports
  • Verhinderung nicht autorisierter Geräteentdeckung und Einschleusung rogue Nodes
  • Verschlüsselung des libp2p-Traffic zwischen Knoten, wenn RDMA nicht verfügbar ist

Modell-Governance und Herkunftsnachweis

  • Aufbau eines internen Modellregisters mit genehmigten Modelllisten und Metadaten
  • Kennzeichnung und Versionierung von quantisierten Gewichten (4-bit, 8-bit) zusammen mit den ursprünglichen Checkpoints
  • Durchsetzung, dass nur bestimmte HuggingFace-Repos oder interne Artefakte geladen werden dürfen
  • Dokumentation der Modell-Herkunft, Lizenzbedingungen und akzeptabler Nutzungsrichtlinien

Audit-Logging und Compliance

  • Konfiguration des EXO-Log-Forwardings zu unveränderlichen Audit-Trails (SIEM, WORM-Speicher)
  • Korrelation von API-Aufrufprotokollen mit Benutzeridentität und Zeitstempel
  • Aufzeichnung von Ereignissen zur Erstellung, Löschung und Inferenzanfrage von Modellinstanzen
  • Erstellung periodischer Compliance-Berichte für interne und externe Auditer

Threat Modeling und Incident Response

  • Identifizierung von Bedrohungen: Datenexfiltration über Modelloutputs, Prompt-Injection, Side-Channel-Leaks
  • Implementierung von Prompt-Monitoring und Content-Filtering-Pipelines
  • Erstellung von Incident-Response-Runbooks für Szenarien eines Cluster-Compromises
  • Isolierung betroffener Knoten, Sicherung forensischer Logs und Wiederherstellung sauberer Umgebungen

Physische Sicherheit und Hardware-Grenzen

  • Sicherung von Thunderbolt-Ports gegen nicht autorisierte RDMA-Kabelverbindungen
  • Nutzung von Secure Enclaves und Apple Silicon-Hardware-Attestation, wo zutreffend
  • Kontrolle des physischen Zugriffs auf Cluster-Macs und gemeinsam genutzten Speicher
  • Dokumentation des Hardware-Lebenszyklus und Deaktivierungsverfahren

Regulatorische Überlegungen

  • Abbildung von EXO-Bereitstellungen auf GDPR-, HIPAA- und SOC-2-Anforderungen
  • Aufrechterhaltung der Datenresidenz durch on-premise-Inferenz
  • Dokumentation von vendor-Lieferkettenrisiken (MLX, EXO, Modellgewichte)
  • Vorbereitung auf KI-Governance-Rahmenwerke wie EU AI Act Artikel 53

Voraussetzungen

  • Erfahrung mit EXO oder einer anderen lokalen LLM-Laufzeit
  • Verständnis von Unix-Dateisystemberechtigungen und Netzwerk-ACLs
  • Vertrautheit mit TLS/SSL-Zertifikatsmanagement und Verschlüsselungsgrundlagen

Zielgruppe

  • Sicherheitstechniker
  • Compliance-Beauftragte
  • Verwalter von KI-Infrastrukturen, die sensible Daten verarbeiten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (1)

Kommende Kurse

Verwandte Kategorien