Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale KI und Ollama

  • Überblick über multimodales Lernen
  • Zentrale Herausforderungen bei der Integration von Vision und Sprache
  • Funktionen und Architektur von Ollama

Einrichten der Ollama-Umgebung

  • Installation und Konfiguration von Ollama
  • Arbeiten mit lokaler Modellbereitstellung
  • Anbindung von Ollama an Python und Jupyter

Verarbeitung multimodaler Eingaben

  • Integration von Text und Bildern
  • Eingliederung von Audio und strukturierten Daten
  • Entwurf von Vorverarbeitungs-Pipelines

Anwendungen zum Dokumentenverständnis

  • Extrahieren strukturierter Informationen aus PDFs und Bildern
  • Kombinieren von OCR mit Sprachmodellen
  • Aufbau intelligenter Dokumentanalyse-Workflows

Visuelle Fragen-Antwort-Systeme (VQA)

  • Einrichten von VQA-Datensätzen und Benchmarks
  • Schulen und Evaluieren multimodaler Modelle
  • Erstellen interaktiver VQA-Anwendungen

Entwurf multimodaler Agenten

  • Grundlagen des Agent-Designs mit multimodalem reasoning
  • Kombinieren von Wahrnehmung, Sprache und Aktionen
  • Bereitstellen von Agenten für reale Anwendungsfälle

Fortgeschrittene Integration und Optimierung

  • Feinanpassung multimodaler Modelle mit Ollama
  • Optimieren der Inferenzleistung
  • Betrachtungen zu Skalierbarkeit und Bereitstellungsaspekten

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Tiefgreifendes Verständnis von Machine-Learning-Konzepten
  • Erfahrung mit Deep-Learning-Frameworks wie PyTorch oder TensorFlow
  • Vertrautheit mit natürlichsprachiger Verarbeitung und Computer Vision

Zielgruppe

  • Machine-Learning-Ingenieure
  • KI-Forschende
  • Produktentwickler, die Vision- und Textworkflows integrieren
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien