Kafka für Administratoren Schulung

Grundlagen der Kafka-Administration

• Die Einbindung von Kafka in eine moderne Datenplattform und typische Verantwortungsbereiche in der Produktion
• Kernkonzepte für Betreiber: Broker, Topics, Partitionen, Offsets, Consumer-Gruppen
• Grundlagen der Replikation: Leaders und Followers, In-Sync Replicas (ISR), Verfügbarkeitsabwägungen
• Wichtige operative Aspekte von Kafka und häufig verwendete Fachbegriffe in Betriebsanleitungen (Runbooks)

KRaft-Modus und Cluster-Design

• Grundlagen von KRaft: Controller, Metadata Quorum, Wahlen und deren operative Bedeutung
• Bereitstellungsplanung: Dimensionierung für Durchsatz, Partitionen, Aufbewahrungsfristen (Retention) und Wachstum
• Knotenrollen und Layouts: Kombinierte vs. dedizierte Controller, Berücksichtigung von Fehlerdomänen
• Praxisübung: KRaft-Metadaten prüfen, Quorum-Gesundheit validieren und Controller-Logs interpretieren

Installation, Konfiguration und täglicher Betrieb

• Installationsmethoden (Pakete, Tarball, Container) und Standards für Unternehmensumgebungen
• Wichtige Broker-Konfigurationen, die sich auf die Zuverlässigkeit auswirken: Listener, Replikation, Log-Verzeichnisse, Retention
• Sichere Dienstoperationen: Startreihenfolge, graceful Shutdown und Validierungsschritte
• Praxisübung: Cluster mit mehreren Knoten bereitstellen, Broker-Registrierung überprüfen und Basisproduktion sowie -konsum bestätigen

Verwaltung von Topics, Partitionen und Datenplatzierung

• Topic-Lebenszyklus mit der Kafka-Befehlszeile: Erstellen, Beschreiben, Konfiguration aktualisieren, Löschen
• Auswahl von Partitionen und Replikationsfaktoren für reale Workloads, inklusive gängiger Anti-Patterns
• Reassignments und Balancing: Wann Partitionen verschoben werden sollten und wie der Fortschritt sicher überprüft wird
• Praxisübung: Topics erstellen, ein Partition-Reassignment auslösen, einen Broker-Ausfall simulieren und die Wiederherstellung bestätigen

Kafka für die Produktion sichern

• TLS für Client- und Inter-Broker-Traffic: Zertifikate, Vertrauenskette und Validierungsschritte
• Authentifizierung mit SASL: Auswahl gängiger Mechanismen und Vermeidung von Fehlkonfigurationen
• Autorisierung mit ACLs: Least-Privilege-Patterns für Administratoren, Produzenten und Konsumenten
• Praxisübung: TLS und SASL aktivieren, Client-Verbindung validieren und ACLs für Anwendungsrollen anwenden

Beobachtbarkeit (Observability), Zuverlässigkeit und Fehlersuche

• Monitoring-Grundlagen: Controller-Gesundheit, unterreplizierte Partitionen, Anforderungslatenz, Sättigung von Festplatte und Netzwerk
• Logs und Metriken: Lesen von Broker-Logs und Ausstellen von Metriken via JMX Exporter an gängige Observability-Stacks
• Operationale Playbooks: Rolling Restarts, sichere Konfigurationsänderungen, Umgang mit vollen Festplatten und ISR-Problemen
• Praxisübung: Einen minimalen Satz an Warnmeldungen aufbauen, ein degradiertes Cluster diagnostizieren und die gesunde Replikation wiederherstellen

Upgrades und Disaster-Recovery-Bereitschaft

• Upgrade-Planung für Kafka: Kompatibilitätsprüfungen, Staging und Rücksetzungsansatz
• Erwartungen an Backups und Recovery: Was gesichert werden kann, was nicht, und Grundlagen der Wiederherstellung von Konfigurationen
• Überblick über die Cluster-übergreifende Replikation und wann MirrorMaker 2 für DR und Migrationen eingesetzt werden sollte
• Abschluss: Operationale Checkliste, Übergabe-Dokumente und nächste Schritte für den Produktions-Einsatz