Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Übersicht der multimodalen Funktionen in Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Anwendungsfälle in Unternehmen und Forschung

Einrichten der Entwicklungsumgebung

  • Konfigurieren von Vertex AI für multimodale Workflows
  • Umgang mit Datenquellen über Modalitäten hinweg
  • Praktische Übung: Umgebungseinrichtung und Datenvorbereitung

Lange Kontextfenster und fortgeschrittene Argumentation

  • Verständnis von Langkontext-Workflows
  • Anwendungsfälle in Planung und Entscheidungsfindung
  • Praktische Übung: Implementierung einer Langkontextanalyse

Cross-modale Workflow-Gestaltung

  • Kombination von Text-, Audio- und Bildanalyse
  • Verkettung multimodaler Schritte in Pipelines
  • Praktische Übung: Entwerfen einer multimodalen Pipeline

Arbeit mit Gemini-API-Parametern

  • Konfigurieren von multimodalen Eingaben und Ausgaben
  • Optimierung der Inferenz und Effizienz
  • Praktische Übung: Einstellen der Gemini-API-Parameter

Fortschrittliche Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integration externer APIs und Tools
  • Praktische Übung: Entwicklung einer multimodalen Anwendung

Bewertung und Iteration

  • Testen der multimodalen Leistung
  • Metriken für Genauigkeit, Alignment und Drift
  • Praktische Übung: Bewertung multimodaler Workflows

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Kenntnisse in Python-Programmierung
  • Erfahrung mit der Entwicklung von Machine-Learning-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • AI-Forschende
  • Fortschrittliche Entwickler
  • ML-Experten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien