Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Überblick über multimodale Funktionen in Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Anwendungsfälle in Unternehmen und Forschung

Einrichtung der Entwicklungsumgebung

  • Konfiguration von Vertex AI für multimodale Workflows
  • Arbeit mit Datensätzen über verschiedene Modalitäten hinweg
  • Praktische Übung: Einrichtung der Umgebung und Vorbereitung der Datensätze

lange Kontextfenster und erweiterte Logik

  • Verständnis von Workflows mit langem Kontext
  • Anwendungsfälle in Planung und Entscheidungsfindung
  • Praktische Übung: Implementierung der Analyse mit langem Kontext

Design cross-modaler Workflows

  • Kombination von Text-, Audio- und Bildanalyse
  • Verkettung multimodaler Schritte in Pipelines
  • Praktische Übung: Entwurf einer multimodalen Pipeline

Arbeit mit Gemini-API-Parametern

  • Konfiguration multimodaler Eingaben und Ausgaben
  • Optimierung von Inferenz und Effizienz
  • Praktische Übung: Abstimmung der Gemini-API-Parameter

Fortgeschrittene Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integration externer APIs und Tools
  • Praktische Übung: Aufbau einer multimodalen Anwendung

Bewertung und Iteration

  • Testen der multimodalen Leistung
  • Metriken für Genauigkeit, Ausrichtung und Drift
  • Praktische Übung: Bewertung multimodaler Workflows

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Sicherer Umgang mit Python-Programmierung
  • Erfahrung in der Entwicklung von Machine-Learning-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • KI-Forscher
  • Fortgeschrittene Entwickler
  • ML-Wissenschaftler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien