Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Übersicht der multimodalen Fähigkeiten in Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Anwendungsfälle im Unternehmen und in der Forschung

Einrichten der Entwicklungsumgebung

  • Konfigurieren von Vertex AI für multimodale Workflows
  • Arbeiten mit Datensätzen über verschiedene Modalitäten hinweg
  • Praktische Übung: Einrichtung der Umgebung und Vorbereitung der Datensätze

Long-Context-Fenster und fortschrittliches Reasoning

  • Verstehen von Workflows mit langem Kontext
  • Anwendungsfälle im Planungs- und Entscheidungsprozess
  • Praktische Übung: Implementierung der Analyse mit langem Kontext

Design von Cross-Modal Workflows

  • Kombinieren von Text-, Audio- und Bildanalyse
  • Verkettung multimodaler Schritte in Pipelines
  • Praktische Übung: Design einer multimodalen Pipeline

Arbeiten mit Gemini-API-Parametern

  • Konfigurieren von multimodalen Eingaben und Ausgaben
  • Optimieren der Inferenz und Effizienz
  • Praktische Übung: Anpassen der Gemini-API-Parameter

Fortgeschrittene Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integrieren externer APIs und Tools
  • Praktische Übung: Erstellen einer multimodalen Anwendung

Evaluation und Iteration

  • Testen der multimodalen Leistung
  • Metriken für Genauigkeit, Ausrichtung und Drift
  • Praktische Übung: Evaluieren von multimodalen Workflows

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Python-Programmierkenntnisse
  • Erfahrung in der Entwicklung von Maschinelles-Lernen-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • KI-Forscher
  • Fortgeschrittene Entwickler
  • ML-Wissenschaftler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien