Ollama: Selbst gehostete grosse Sprachmodelle als Ersatz für OpenAI- und Claude-APIs Schulung
Ollama ist ein Open-Source-Tool, das die Ausführung grosser Sprachmodelle lokal auf Consumer- und Enterprise-Hardware ermöglicht. Es kapselt die Modellquantisierung, GPU-Zuteilung und den API-Betrieb in einer einzigen Kommandozeilenschnittstelle und ermöglicht es Organisationen, eigene LLMs wie Llama, Mistral und Qwen zu hosten, ohne Eingabeprompt oder Daten an OpenAI, Anthropic oder Google zu senden.
Dieser instruktionsgeleitete Live-Training (online oder vor Ort) richtet sich an erfahrene KI-Ingenieure und Plattformbetreiber, die Ollama einsetzen möchten, um Cloud-LLM-APIs durch selbst gehostete, datensouveräne Sprachmodellausführungen zu ersetzen.
Nach Abschluss dieses Trainings werden die Teilnehmer in der Lage sein:
- Ollama auf Linux, macOS und Windows mit GPU-Unterstützung zu installieren.
- Modelle aus dem Ollama-Registry und HuggingFace abzurufen, zu quantisieren und bereitzustellen.
- Benutzerdefinierte Modelfiles mit System-Prompts und Parameter-Tuning zu erstellen.
- Lokale LLMs über die OpenAI-kompatible API in Anwendungen zu integrieren.
- Die Inference-Performance für CPU-only- und Multi-GPU-Setups zu optimieren.
Kursformat
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxiseinheiten.
- Praktische Implementierung in einer Live-Lab-Umgebung.
Anpassungsoptionen für den Kurs
- Falls Sie eine massgeschneiderte Schulung für diesen Kurs wünschen, kontaktieren Sie uns bitte zur Vereinbarung.
Schulungsübersicht
KI-Souveränität und lokale Bereitstellung von LLMs
- Risiken von Cloud-LLMs: Datenspeicherung, Training anhand von Eingaben, ausländische Rechtsprechung.
- Ollama-Architektur: Model Server, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modelllizenzen: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Einrichtung
- Ollama auf Linux mit CUDA- und ROCm-Unterstützung installieren.
- Alternative CPU-only-Implementierung und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und persistenter Volume-Mapping.
- Multi-GPU-Einrichtung und Strategien zur VRAM-Zuteilung.
Modellverwaltung
- Modelle aus dem Ollama-Registry abrufen: ollama pull llama3.
- GGUF-Modelle von HuggingFace und TheBloke importieren.
- Quantisierungsstufen: Q4_K_M, Q5_K_M, Q8_0 sowie deren Vor- und Nachteile.
- Modellwechsel und Grenzen des gleichzeitigen Ladens von Modellen.
Benutzerdefinierte Modelfiles
- Syntax für Modelfile verfassen: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Tuning von Temperature, top_p und repeat_penalty.
- Engineering von System-Prompts für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen benutzerdefinierter Modelle im lokalen Registry.
API-Integration
- OpenAI-kompatibles /v1/chat/completions-Endpunkt.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und benutzerdefinierten Anwendungen.
- Authentifizierung und Rate Limiting über Reverse Proxy.
Performance-Optimierung
- Gewichtung des Kontextfensters und KV-Cache-Management.
- Batch-Inference und parallele Anfragenverarbeitung.
- Zuteilung von CPU-Threads und NUMA-Bewusstsein.
- Überwachung der GPU-Auslastung und Speichersituation.
Sicherheit und Compliance
- Netzwerkisolierung für Model Serving Endpunkte.
- Eingabe-Filterung und Output-Moderations-Pipelines.
- Audit-Logging von Prompts und Completion-Antworten.
- Modell-Herkunftsnachweis und Hash-Verifizierung.
Voraussetzungen
- Fortgeschrittene Kenntnisse in Linux- und Containerverwaltung.
- Grundlegendes Verständnis von Machine Learning und Transformer-Modellen auf hoher Ebene.
- Bekanntschaft mit REST-APIs und JSON.
Zielgruppe
- KI-Ingenieure und Entwickler, die Cloud-LLM-APIs ersetzen möchten.
- Organisationen mit sensiblen Daten, die den Einsatz von Cloud-Modellen verhindern.
- Bundesbehörden und Verteidigungsteams, die vollständig abgeschottete (air-gapped) Sprachmodelle erfordern.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Ollama: Selbst gehostete grosse Sprachmodelle als Ersatz für OpenAI- und Claude-APIs Schulung - Buchung
Ollama: Selbst gehostete grosse Sprachmodelle als Ersatz für OpenAI- und Claude-APIs Schulung - Anfrage
Ollama: Selbst gehostete grosse Sprachmodelle als Ersatz für OpenAI- und Claude-APIs - Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Erweitertes Debugging und Evaluation von Ollama-Modellen
35 StundenDas Fortgeschrittene Debugging und Evaluation von Ollama-Modellen ist ein tiefgehender Kurs, der sich auf die Diagnose, das Testen und die Messung des Modellverhaltens bei lokalen oder privaten Ollama-Deployments konzentriert.
Diese Dozent:innen-gesteuerte Live-Schulung (online oder vor Ort) richtet sich an fortschrittliche KI-Ingenieur:innen, MLOps-Fachleute und QA-Praktiker:innen, die die Zuverlässigkeit, Genauigkeit und Einsatzbereitschaft von Ollama-basierten Modellen in der Produktion sicherstellen möchten.
Am Ende dieser Schulung werden die Teilnehmenden folgende Fähigkeiten erworben haben:
- Systematisches Debugging von Ollama-bereitgestellten Modellen durchführen und Fehlermodi zuverlässig reproduzieren.
- Robuste Evaluationspipelines mit quantitativen und qualitativen Metriken entwerfen und ausführen.
- Observability-Massnahmen (Logs, Traces, Metriken) implementieren, um die Modellgesundheit und Drift zu überwachen.
- Testing-, Validierungs- und Regressionstests automatisieren und in CI/CD-Pipelines integrieren.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praxisnahe Labs und Debugging-Übungen mit Ollama-Deployments.
- Case Studies, Gruppenübungen zur Fehlerbehebung und Workshops zur Automatisierung.
Möglichkeiten zur Kursanpassung
- Um eine angepasste Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um die Details zu vereinbaren.
Private KI-Workflows mit Ollama aufbauen
14 StundenDiese instruktorgeführte Live-Schulung in Schweiz (online oder vor Ort) richtet sich an erfahrene Fachkräfte, die sichere und effiziente KI-gestützte Workflows mit Ollama implementieren möchten.
Am Ende dieser Schulung sind die Teilnehmer in der Lage:
- Ollama für private KI-Verarbeitung bereitzustellen und zu konfigurieren.
- KI-Modelle in sichere Unternehmensworkflows zu integrieren.
- Die KI-Leistung zu optimieren, wobei die Datenprivatsphäre gewahrt bleibt.
- Geschäftsprozesse mit lokalen KI-Funktionen zu automatisieren.
- Die Einhaltung von Unternehmensrichtlinien für Sicherheit und Governance sicherzustellen.
Bereitstellung und Optimierung von LLMs mit Ollama
14 StundenDieser von Dozenten geleitete Live-Kurs in Schweiz (online oder vor Ort) richtet sich an Fachleute auf mittlerem Niveau, die LLMs mit Ollama bereitstellen, optimieren und integrieren möchten.
Nach Abschluss dieses Kurses können die Teilnehmer:
- LLMs einrichten und mit Ollama bereitstellen.
- KI-Modelle für Leistung und Effizienz optimieren.
- GPU-Beschleunigung nutzen, um die Inferenzgeschwindigkeit zu verbessern.
- Ollama in Arbeitsabläufe und Anwendungen integrieren.
- Die Leistung von KI-Modellen über die Zeit hinweg überwachen und warten.
EXO: End-to-End-Bereitstellung eines lokalen KI-Clusters
21 StundenDieses instructor-led-Livetraining in Schweiz (online oder vor Ort) richtet sich an Systemadministratoren und DevOps-Ingenieure, die EXO-Cluster für private LLM-Inferenz über mehrere Apple-Silicon- oder Linux-Knoten bereitstellen, konfigurieren und verwalten möchten.
EXO für DevOps: Aufbau einer privaten KI-Infrastruktur
21 StundenDiese von einem Dozenten geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an DevOps-Ingenieure und Infrastrukturarchitekten, die die Bereitstellung, Überwachung und das Lebenszyklusmanagement privater KI-Cluster auf Basis von EXO automatisieren möchten.
EXO-Sicherheit und -Governance: Offline-Verwaltung von Modellen
14 StundenDieser instruktionsgeleitete, live durchgeführte Kurs in Schweiz (online oder vor Ort) richtet sich an Sicherheitstechniker:innen und Compliance-Beauftragte, die ihre EXO-Installationen härten, den Modellzugriff steuern und AI-Workloads verwalten möchten, die vollständig auf eigene Infrastruktur laufen.
Feinabstimmung und Anpassung von KI-Modellen auf Ollama
14 StundenDieser instruktionsgeleitete Live-Kurs in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die KI-Modelle auf Ollama feinabstimmen und anpassen möchten, um die Leistung zu verbessern und domänenspezifische Anwendungen zu realisieren.
Nach Abschluss dieses Kurses werden die Teilnehmer in der Lage sein:
- Eine effiziente Umgebung für die Feinabstimmung von KI-Modellen auf Ollama einzurichten.
- Datensätze für das überwachtes Fine-Tuning und Reinforcement Learning vorzubereiten.
- KI-Modelle hinsichtlich Leistung, Genauigkeit und Effizienz zu optimieren.
- Angepasste Modelle in Produktionsumgebungen bereitzustellen.
- Modellverbesserungen zu evaluieren und die Robustheit sicherzustellen.
Sichere lokale agentic KI: On-Prem Ollama-Entwicklung für regulierte Branchen
21 StundenDieser instructor-led Live-Kurs in Schweiz (online oder vor Ort) richtet sich an Entwickler und technische Teams, die Ollama und offene Modelle nutzen möchten, um private agentic KI-Lösungen auf interner Infrastruktur zu entwickeln und auszuführen.
Am Ende dieses Kurses können die Teilnehmer: Ollama installieren und konfigurieren, offene Modelle lokal evaluieren und ausführen, einfache agentic und retrieval-basierte Workflows erstellen sowie Sicherheits- und Governance-Kontrollen für regulierte Umgebungen anwenden.
Multimodale Anwendungen mit Ollama
21 StundenOllama ist eine Plattform, die es ermöglicht, grosse Sprachmodelle und multimodale Modelle lokal auszuführen und zu feinabzustimmen.
Dieser von Instruktoren geleitete Live-Workshop (online oder vor Ort) richtet sich an fortgeschrittene ML-Ingenieure, KI-Forschende und Produktentwickler, die multimodale Anwendungen mit Ollama erstellen und bereitstellen möchten.
Am Ende dieses Workshops können Teilnehmer:
- Multimodale Modelle mit Ollama einrichten und ausführen.
- Text-, Bild- und Audioeingaben für reale Anwendungen integrieren.
- Dokumentenverständnis- und visuelle Fragen-Antwort-Systeme (VQA) erstellen.
- Multimodale Agenten entwickeln, die modalübergreifend reasoning durchführen können.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praktische Übungen mit echten multimodalen Datensätzen.
- Live-Labor-Implementierung multimodaler Pipelines mittels Ollama.
Möglichkeiten zur Kursanpassung
- Falls Sie ein massgeschneidertes Training für diesen Kurs wünschen, kontaktieren Sie uns bitte zur Vereinbarung.
Erste Schritte mit Ollama: Lokale KI-Modelle betreiben
7 StundenDieser live-vor Ort oder online angebotene Kurs in Schweiz richtet sich an Berufseinsteiger, die Ollama installieren, konfigurieren und nutzen möchten, um KI-Modelle auf ihren lokalen Maschinen auszuführen.
Am Ende dieses Kurses können Teilnehmende:
- Die Grundlagen von Ollama und dessen Fähigkeiten verstehen.
- Ollama für den Betrieb lokaler KI-Modelle einrichten.
- LLMs mit Ollama bereitstellen und damit interagieren.
- Leistung und Ressourcennutzung für KI-Arbeitslasten optimieren.
- Anwendungsfälle für den lokalen KI-Einsatz in verschiedenen Branchen erkunden.
Ollama & Datenschutz: Sichere Bereitstellungsstrategien
14 StundenOllama ist eine Plattform, die es ermöglicht, grosse Sprachmodelle und multimodale Modelle lokal auszuführen und dabei sichere Bereitstellungsstrategien zu unterstützen.
Dieses von einem Instructor geleitete Live-Training (online oder vor Ort) richtet sich an Fachkräfte mit mittlerem Erfahrungsniveau, die Ollama unter strengen Massnahmen für den Datenschutz und die regulatorische Konformität bereitstellen möchten.
Am Ende dieses Trainings werden die Teilnehmenden in der Lage sein:
- Ollama sicher in containerisierten und On-Premise-Umgebungen bereitzustellen.
- Techniken der differenziellen Privatsphäre anzuwenden, um sensible Daten zu schützen.
- Sichere Praktiken für Logging, Monitoring und Auditing zu implementieren.
- Datenzugriffskontrollen durchzusetzen, die den Compliance-Anforderungen entsprechen.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praxisnahe Labs mit sicheren Bereitstellungsstrategien.
- Fallstudien und praktische Übungen, die auf Compliance-focused
Möglichkeiten zur Kursanpassung
- Um ein massgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um die Details zu vereinbaren.
Anwendungen von Ollama im Finanzwesen
14 StundenOllama ist eine leichte Plattform zur lokalen Ausführung von Grossen Sprachmodellen.
Diese dozentengeleitete, live durchgeführte Schulung (online oder vor Ort) richtet sich an Finanzexperten und IT-Fachkräfte auf mittlerem Niveau, die Ollama-basierte KI-Lösungen in Finanzumgebungen implementieren, anpassen und betriebsbereit machen möchten.
Nach Abschluss dieser Schulung verfügen die Teilnehmer über die folgenden Fähigkeiten:
- Bereitstellung und Konfiguration von Ollama für den sicheren Einsatz im Finanzbetrieb.
- Integration lokaler Grosser Sprachmodelle in analytische und berichtende Arbeitsabläufe.
- Anpassung der Modelle an finanzspezifische Terminologie und Aufgabenstellungen.
- Anwendung von Best Practices für Sicherheit, Datenschutz und Compliance.
Format des Kurses
- Interaktive Vorlesung und Diskussion.
- Praxisorientierte Übungen mit Finanzdaten.
- Live-Lab-Implementierung finanzfokusierter Szenarien.
Optionen zur Kursanpassung
- Um eine maßgeschneiderte Schulung für diesen Kurs zu beantragen, setzen Sie sich bitte mit uns in Verbindung, um die Details zu vereinbaren.
Anwendungen von Ollama im Gesundheitswesen
14 StundenOllama ist eine leichte Plattform zum lokalen Ausführen grosser Sprachmodelle.
Diese instruktionsgestützte, live-Veranstaltung (online oder vor Ort) richtet sich an Teilnehmer mit Vorkenntnissen im Gesundheitswesen sowie IT-Teams, die darauf abzielen, Ollama-basierte KI-Lösungen in klinischen und administrativen Umgebungen zu implementieren, anzupassen und betriebsbereit zu machen.
Nach Abschluss dieser Schulung können die Teilnehmenden:
- Ollama sicher für den Einsatz im Gesundheitswesen installieren und konfigurieren.
- LoKale LLMs in klinische Arbeitsabläufe und administrative Prozesse integrieren.
- Modelle für healthcare-spezifische Terminologie und Aufgaben anpassen.
- Beste Praktiken für Datenschutz, Sicherheit und regulatorische Compliance anwenden.
Format des Kurses
- Interaktive Vorträge und Diskussionen.
- Praktische Demonstrationen und angeleitete Übungen.
- Praktische Implementierung in einer sandgeboxten Simulationsumgebung für das Gesundheitswesen.
Optionen zur Kursanpassung
- Um eine massgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Terminvereinbarung.
Ollama für verantwortungsvolle KI und Governance
14 StundenOllama ist eine Plattform zum lokalen Ausführen grosser Sprach- und multimodaler Modelle, die Governance-Massnahmen und verantwortungsvolle KI-Praktiken unterstützt.
Dieser von Dozent:innen geleitete Live-Training (online oder vor Ort) richtet sich an Fachleute mit mittlerem bis fortgeschrittenem Kenntnisstand, die Fairness, Transparenz und Rechenschaftspflicht in Ollama-basierten Anwendungen implementieren möchten.
Nach Abschluss dieses Trainings können Teilnehmende:
- Prinzipien verantwortungsvoller KI bei Ollama-Implementierungen anwenden.
- Inhaltsfilterung und Strategien zur Bias-Minderung umsetzen.
- Governance-Workflows für KI-Ausrichtung und Auditierbarkeit entwerfen.
- Überwachungs- und Berichtswesen für Compliance-Richtlinien etablieren.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praxisnahe Labs zum Entwurf von Governance-Workflows.
- Case Studies und Compliance-fokussierte Übungen.
Optionen zur Kursanpassung
- Um ein massgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte zwecks Arrangement.
Souveräne KI für regulierte Organisationen: Kontrolle über Daten, Modelle und Inferenzumgebungen
7 StundenDieses von einem Instructor geleitete Live-Training in Schweiz (online oder vor Ort) richtet sich an IT-Leiter, Compliance-Experten, Sicherheitsteams und Enterprise-Architekten mit mittlerem Wissensstand, die souveräne KI-Grundsätze und Governance-Praktiken nutzen möchten, um KI-Umgebungen zu designen, die sensible Daten schützen, Lokalisierungsanforderungen erfüllen und Vendor-Lock-in reduzieren.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein: souveräne KI-Konzepte zu erläutern, Hosting- und Governance-Optionen zu bewerten, Kontrollen für Prompts und Logs zu definieren sowie einen praktischen Einführungs-Fahrplan zu erstellen.
