Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Überblick über multimodale Fähigkeiten in Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Anwendungsfälle in Unternehmen und Forschung

Einrichtung der Entwicklungsumgebung

  • Konfiguration von Vertex AI für multimodale Workflows
  • Arbeit mit Datensätzen über verschiedene Modalitäten hinweg
  • Praktisches Labor: Umgebungseinrichtung und Vorbereitung der Datensätze

Lange Kontextfenster und erweiterte Schlussfolgerungsfähigkeiten

  • Verständnis von Workflows mit langem Kontext
  • Anwendungsfälle in Planung und Entscheidungsfindung
  • Praktisches Labor: Implementierung von Analysen mit langem Kontext

Gestaltung von multimodalen Workflows

  • Kombination von Text-, Audio- und Bildanalyse
  • Kettung von multimodalen Schritten in Pipelines
  • Praktisches Labor: Gestaltung einer multimodalen Pipeline

Arbeit mit Gemini-API-Parametern

  • Konfiguration multimodaler Eingaben und Ausgaben
  • Optimierung von Inferenz und Effizienz
  • Praktisches Labor: Feinabstimmung der Gemini-API-Parameter

Erweiterte Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integration externer APIs und Tools
  • Praktisches Labor: Aufbau einer multimodalen Anwendung

Auswertung und Iteration

  • Testen der multimodalen Leistung
  • Metriken für Genauigkeit, Ausrichtung und Drift
  • Praktisches Labor: Auswertung multimodaler Workflows

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Beherrschung der Programmiersprache Python
  • Erfahrung in der Entwicklung von Machine-Learning-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • KI-Forscher
  • Fortgeschrittene Entwickler
  • ML-Wissenschaftler

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien