Kontakt aufnehmen

Schulungsübersicht

Grundlagen des Mastra-Debuggings und der Evaluation

  • Verständnis von Agentenverhaltensmodellen und Fehlursachen
  • Kernprinzipien des Debugging innerhalb von Mastra
  • Bewertung deterministischer und nicht-deterministiger Agentenaktionen

Einrichten der Testumgebungen für Agent:innen

  • Konfigurieren von Test-Sandboxes und isolierten Evaluierungsräumen
  • Erfassen von Logs, Traces und Telemetrie-Daten für detaillierte Analysen
  • Vorbereiten von Datensätzen und Prompts für strukturiertes Testing

Debugging des KI-Agentenverhaltens

  • Nachvollziehen von Entscheidungswegen und internen Signalen zur Begründung
  • Identifizieren von Halluzinationen, Fehlern und unbeabsichtigtem Verhalten
  • Nutzen von Observability-Dashboards für die Root-Cause-Analyse

Evaluationsmetriken und Benchmarking-Frameworks

  • Definieren quantitativer und qualitativer Evaluationsmetriken
  • Messen von Genauigkeit, Konsistenz und kontextueller Compliance
  • Anwenden von Benchmark-Datensätzen für wiederholbare Bewertungen

Zuverlässigkeitsengineering für KI-Agent:innen

  • Konzipieren von Zuverlässigkeitstests für langlaufende Agent:innen
  • Erkennen von Drift und Leistungseinbußen bei Agent:innen
  • Implementieren von Schutzmechanismen für kritische Arbeitsabläufe

Qualitätssicherungsprozesse und Automatisierung

  • Aufbau von QA-Pipelines für kontinuierliche Evaluierung
  • Automatisieren von Regressionstests bei Agenten-Updaten
  • Integrieren von QA in CI/CD und Unternehmensarbeitsabläufe

Fortgeschrittene Techniken zur Reduzierung von Halluzinationen

  • Prompting-Strategien zur Verringerung unerwünschter Ausgaben
  • Validierungsschleifen und Selbstprüfmechanismen
  • Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit

Berichterstattung, Überwachung und kontinuierliche Verbesserung

  • Erstellen von QA-Berichten und Leistungskarten für Agent:innen
  • Überwachen des langfristigen Verhaltens und von Fehlermustern
  • Iteratives Verbessern der Evaluierungs-Frameworks für sich entwickelnde Systeme

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Verständnis für das Verhalten von KI-Agenten und Modellinteraktionen
  • Erfahrung mit der Fehlersuche oder dem Testen komplexer Softwaresysteme
  • Vertrautheit mit Observability- oder Logging-Tools

Zielgruppe

  • QA-Ingenieur:innen
  • KI-Zuverlässigkeitsingenieur:innen
  • Entwickler:innen, die für die Qualität und Leistung von Agent:innen verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien