Kontakt aufnehmen

Schulungsübersicht

Offline-Bereitstellung von EXO

  • Nutzung von EXO_OFFLINE zur Verhinderung des Internetzugriffs während der Laufzeit
  • Vorladen von Modellen in EXO_MODELS_READ_ONLY_DIRS aus vertrauenswürdigen internen Spiegeln
  • Überprüfung der Modellgewichtsintegrität mit SHA-256-Prüfsummen und signierten Model Cards
  • Ausführung von EXO in luftgetrennten Netzwerken ohne Abhängigkeiten zu HuggingFace

Dashboards und API-Zugriffskontrolle

  • Installation und Konfiguration von Reverse-Proxy-Lösungen (nginx, Caddy) mit TLS-Terminierung
  • Implementierung rollenbasierter Zugriffskontrollen für das EXO-Dashboard und die REST-API
  • Speicherung von Geheimnissen zur API-Authentifizierung im macOS-Schlüsselbund oder unter Linux mit pass
  • Einschränkung administrativer Endpunkte auf spezifische Quell-IP-Bereiche

Cluster-Isolierung und Netzwerksicherheit

  • Trennung von EXO-Clustern mittels EXO_LIBP2P_NAMESPACE und VLANs
  • Konfiguration von Host-Firewalls (macOS-Anwendungsfirewall, iptables, nftables) für EXO-Ports
  • Verhinderung der unbefugten Geräteeerkennung und Einschleusung nicht autorisierter Knoten
  • Verschlüsselung des libp2p-Traffics zwischen Knoten, wenn RDMA nicht verfügbar ist

Modell-Governance und Herkunftsnachweis (Provenance)

  • Aufbau eines internen Modellregister mit genehmigten Modelllisten und Metadaten
  • Tagging und Versionierung von quantisierten Gewichtungen (4-Bit, 8-Bit) zusammen mit den ursprünglichen Checkpoints
  • Durchsetzung der Regel, dass nur bestimmte HuggingFace-Repositories oder interne Artefakte geladen werden dürfen
  • Dokumentation der Modell-Linie, Lizenzbedingungen und Nutzungsrichtlinien

Prüfprotokollierung und Compliance

  • Konfiguration des EXO-Log-Frameworks zur Weiterleitung an unveränderliche Audit-Trails (SIEM, WORM-Speicher)
  • Korrelation von API-Aufrufprotokollen mit Benutzeridentität und Zeitstempel
  • Erfassung von Ereignissen zur Erstellung, Löschung und dem Inference-Anfragen von Modellinstanzen
  • Erstellung periodischer Compliance-Berichte für interne und externe Prüfer:innen

Threat Modeling und Incident Response

  • Identifikation von Bedrohungen: Datenexfiltration über Modellausgaben, Prompt-Injection, Side-Channel-Lecks
  • Implementierung von Prompt-Monitoring- und Content-Filtering-Pipelines
  • Erstellung von Incident-Response-Runbooks für Szenarien des Cluster-Kompromittierens
  • Isolierung betroffener Knoten, Sicherung forensischer Logs und Aufbau neuer, sauberer Umgebungen

Physische Sicherheit und Hardware-Grenzen

  • Sicherung von Thunderbolt-Anschlüssen gegen unbefugte RDMA-Kabelverbindungen
  • Nutzung von Secure Enclaves und hardwarebasierter Attestation (Apple Silicon) soweit anwendbar
  • Kontrolle des physischen Zugriffs auf Cluster-Macs und gemeinsamen Speicher
  • Dokumentation des Hardware-Lebenszyklus und von Verfahren zur Außerbetriebnahme

Regulatorische Aspekte

  • Zuordnung der EXO-Installationen zu den Anforderungen von DSGVO, HIPAA und SOC 2
  • Sicherstellung der Datensouveränität durch Aufrechterhaltung der Inference vor Ort
  • Dokumentation von Lieferkettenrisiken im Herstellerbereich (MLX, EXO, Modellgewichte)
  • Vorbereitung auf AI-Governance-Rahmenwerke wie Artikel 53 des EU-KI-Gesetzes

Voraussetzungen

  • Erfahrung mit EXO oder einem anderen lokalen LLM-Laufzeitumgebungen
  • Verständnis von Unix-Dateisystemberechtigungen und Netzwerk-ACLs
  • Vertrautheit mit der Verwaltung von TLS/SSL-Zertifikaten sowie Grundlagen der Verschlüsselung

Zielgruppe

  • Sicherheitstechniker:innen
  • Compliance-Beauftragte
  • Administrator:innen der AI-Infrastruktur, die mit sensiblen Daten arbeiten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (1)

Kommende Kurse

Verwandte Kategorien