Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
AI-Souveränität und lokale LLM-Bereitstellung
- Risiken von Cloud-LLMs: Datenspeicherung, Training mit Eingaben, fremde Gerichtsbarkeit.
- Ollama-Architektur: Modellserver, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modell-Lizenzen: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Setup
- Installation von Ollama auf Linux mit CUDA- und ROCm-Unterstützung.
- CPU-only-Fallback und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und Abbildung dauerhafter Volumes.
- Multi-GPU-Setup und VRAM-Zuweisungsstrategien.
Verwaltung von Modellen
- Ziehen von Modellen aus dem Ollama-Registry: ollama pull llama3.
- Importieren von GGUF-Modellen von HuggingFace und TheBloke.
- Quantisierungsebenen: Kompromisse zwischen Q4_K_M, Q5_K_M und Q8_0.
- Wechsel der Modelle und Grenzen für das gleichzeitige Laden von Modellen.
Benutzerdefinierte Modelfiles
- Schreiben der Modelfile-Syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Einstellung von temperature, top_p und repeat_penalty.
- System-Prompt-Engineering für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen benutzerdefinierter Modelle im lokalen Registry.
API-Integration
- OpenAI-kompatibler Endpunkt \/v1\/chat\/completions.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und benutzerdefinierten Apps.
- Authentifizierung und Rate Limiting mit Reverse Proxy.
Leistungsoptimierung
- Größe des Kontextfensters und Verwaltung des KV-Caches.
- Batch-Inferenz und parallele Anfragenbearbeitung.
- CPU-Thread-Zuweisung und NUMA-Awareness.
- Überwachung der GPU-Auslastung und des Speicherverbrauchs.
Sicherheit und Compliance
- Netzwerkisolation für Modellbereitstellungs-Endpunkte.
- Eingabefilterung und Output-Moderations-Pipelines.
- Audit-Logging von Prompts und Completions.
- Modell-Herkunft und Hash-Verifikation.
Voraussetzungen
- Mittlere Kenntnisse in Linux- und Container-Verwaltung.
- Grundverständnis von Machine Learning und Transformer-Modellen auf hoher Abstraktionsebene.
- Vertrautheit mit REST-APIs und JSON.
Zielgruppe
- AI-Ingenieure und Entwickler, die Cloud-LLM-APIs ersetzen.
- Organisationen mit datenschutzsensiblen Anforderungen, die den Einsatz von Cloud-Modellen verhindern.
- Teams in Regierungen und Verteidigung, die luftdicht (air-gapped) Sprachmodelle benötigen.
