Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Offline-Bereitstellung von EXO
- Nutzung von EXO_OFFLINE zur Verhinderung des Internetzugriffs während der Laufzeit
- Vorladen von Modellen in EXO_MODELS_READ_ONLY_DIRS aus vertrauenswürdigen internen Spiegeln
- Überprüfung der Modellgewichtsintegrität mit SHA-256-Prüfsummen und signierten Model Cards
- Ausführung von EXO in luftgetrennten Netzwerken ohne Abhängigkeiten zu HuggingFace
Dashboards und API-Zugriffskontrolle
- Installation und Konfiguration von Reverse-Proxy-Lösungen (nginx, Caddy) mit TLS-Terminierung
- Implementierung rollenbasierter Zugriffskontrollen für das EXO-Dashboard und die REST-API
- Speicherung von Geheimnissen zur API-Authentifizierung im macOS-Schlüsselbund oder unter Linux mit pass
- Einschränkung administrativer Endpunkte auf spezifische Quell-IP-Bereiche
Cluster-Isolierung und Netzwerksicherheit
- Trennung von EXO-Clustern mittels EXO_LIBP2P_NAMESPACE und VLANs
- Konfiguration von Host-Firewalls (macOS-Anwendungsfirewall, iptables, nftables) für EXO-Ports
- Verhinderung der unbefugten Geräteeerkennung und Einschleusung nicht autorisierter Knoten
- Verschlüsselung des libp2p-Traffics zwischen Knoten, wenn RDMA nicht verfügbar ist
Modell-Governance und Herkunftsnachweis (Provenance)
- Aufbau eines internen Modellregister mit genehmigten Modelllisten und Metadaten
- Tagging und Versionierung von quantisierten Gewichtungen (4-Bit, 8-Bit) zusammen mit den ursprünglichen Checkpoints
- Durchsetzung der Regel, dass nur bestimmte HuggingFace-Repositories oder interne Artefakte geladen werden dürfen
- Dokumentation der Modell-Linie, Lizenzbedingungen und Nutzungsrichtlinien
Prüfprotokollierung und Compliance
- Konfiguration des EXO-Log-Frameworks zur Weiterleitung an unveränderliche Audit-Trails (SIEM, WORM-Speicher)
- Korrelation von API-Aufrufprotokollen mit Benutzeridentität und Zeitstempel
- Erfassung von Ereignissen zur Erstellung, Löschung und dem Inference-Anfragen von Modellinstanzen
- Erstellung periodischer Compliance-Berichte für interne und externe Prüfer:innen
Threat Modeling und Incident Response
- Identifikation von Bedrohungen: Datenexfiltration über Modellausgaben, Prompt-Injection, Side-Channel-Lecks
- Implementierung von Prompt-Monitoring- und Content-Filtering-Pipelines
- Erstellung von Incident-Response-Runbooks für Szenarien des Cluster-Kompromittierens
- Isolierung betroffener Knoten, Sicherung forensischer Logs und Aufbau neuer, sauberer Umgebungen
Physische Sicherheit und Hardware-Grenzen
- Sicherung von Thunderbolt-Anschlüssen gegen unbefugte RDMA-Kabelverbindungen
- Nutzung von Secure Enclaves und hardwarebasierter Attestation (Apple Silicon) soweit anwendbar
- Kontrolle des physischen Zugriffs auf Cluster-Macs und gemeinsamen Speicher
- Dokumentation des Hardware-Lebenszyklus und von Verfahren zur Außerbetriebnahme
Regulatorische Aspekte
- Zuordnung der EXO-Installationen zu den Anforderungen von DSGVO, HIPAA und SOC 2
- Sicherstellung der Datensouveränität durch Aufrechterhaltung der Inference vor Ort
- Dokumentation von Lieferkettenrisiken im Herstellerbereich (MLX, EXO, Modellgewichte)
- Vorbereitung auf AI-Governance-Rahmenwerke wie Artikel 53 des EU-KI-Gesetzes
Voraussetzungen
- Erfahrung mit EXO oder einem anderen lokalen LLM-Laufzeitumgebungen
- Verständnis von Unix-Dateisystemberechtigungen und Netzwerk-ACLs
- Vertrautheit mit der Verwaltung von TLS/SSL-Zertifikaten sowie Grundlagen der Verschlüsselung
Zielgruppe
- Sicherheitstechniker:innen
- Compliance-Beauftragte
- Administrator:innen der AI-Infrastruktur, die mit sensiblen Daten arbeiten
14 Stunden
Erfahrungsberichte (1)
Der Trainer hatte ein ausgezeichnetes Wissen über FortiGate und vermittelte den Inhalt sehr gut. Vielen Dank an Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurs - FortiGate 7.4 Administration
Maschinelle Übersetzung