Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in LLMOps
- LLMOps vs. MLOps: einzigartige Herausforderungen des Betriebs von LLMs
- Der Lebenszyklus der LLM-Anwendung: Prompt, Evaluation, Bereitstellung, Überwachung
- Checkliste für die Produktionsreife von GenAI-Anwendungen
Prompt-Management und Versionierung
- Prompt-Templating-Systeme und Variableninjektion
- Semantische Versionierung für Prompts mit automatisierter Regressionstests
- Prompt-Register und Zusammenarbeitworkflows
LLM-Evaluation im Grossmassstab
- Evaluationsdimensionen: Genauigkeit, Relevanz, Sicherheit, Fundiertheit
- LLM-as-Judge-Metriken und Human Evaluation Pipelines
- Automatisierte Eval-Frameworks: RAGAS, DeepEval und eigene Evaluatoren
- Qualitätsmauern in CI/CD für LLM-Bereitstellungen
Sicherheitsschutzmassnahmen und Inhalts-Governance
- Eingangs- und Ausgangs-Schutzbarrieren: NeMo Guardrails und Guardrails AI
- PII-Erkennung, Toxizitätsfilterung und Themengrenzen
- Strategien zur Abwehr von Jailbreaks und Prompt-Injection
- Red-Teaming von LLM-Anwendungen zur Sicherheitssicherung
LLM-Observabilität und Überwachung
- Telemetrie: Token-Nutzung, Latenz, Kosten und Qualitätsmetriken
- Drift-Erkennung in LLM-Ausgaben und Embedding-Räumen
- Sitzungsebene-Trace für Multi-Turn-Agent-Gespräche
- Dashboards und Alarmierung mit LangSmith, Arize und OpenTelemetry
AI-Gateway und Modell-Orchestrierung
- Multi-Provider-Routing mit LiteLLM und Portkey
- Fallback-Strategien, Retry-Logik und Circuit Breakers
- Kostenbewusste Modellauswahl und Lastenausgleich
- Rate Limiting, Quota-Management und API-Key-Governance
Leistungsoptimierung
- Semantisches Caching mit Vector Stores und Exact-Match-Strategien
- Durchsetzung strukturierter Ausgaben mit constrained Decoding
- Batching, Streaming und Concurrency-Patterns
- Latenzoptimierung über Modellanbieter hinweg
Governance, Compliance und Audit
- LLM-Audit-Trails: Prompt-Logs, Response-Logs und Entscheidungsnachverfolgung
- Datensouveränität und Datenschutzaspekte für LLM-APIs
- Policy-as-Code für die LLM-Nutzung innerhalb von Organisationen
- Erstellung eines interenen LLM-Betriebs-Handbuchs
Voraussetzungen
- Erfahrung im Aufbau oder in der Integration von LLM-gestützten Anwendungen.
- Vertrautheit mit Python und REST-APIs.
- Basics-Verständnis der Konzepte der Prompt-Engineering.
Zielgruppe
- ML-Ingenieure und MLOps-Praktiker, die zum LLM-Betrieb übergehen.
- Plattformingenieure, die für die LLM-Infrastruktur verantwortlich sind.
- Technische Leiter, die Produktions-GenAI-Bereitstellungen verwalten.
14 Stunden
Erfahrungsberichte (2)
Einsatz von angemessenen und wirksamen Prompts
Marses Pacaldo
Kurs - Generative AI and Prompt Engineering for Corporate Professionals
Maschinelle Übersetzung
Der interaktive Stil, die Übungen
Tamas Tutuntzisz
Kurs - Introduction to Prompt Engineering
Maschinelle Übersetzung
