Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Grundlagen des Mastra-Debuggings und der Evaluation
- Verständnis von Agentenverhaltensmodellen und Fehlursachen
- Kernprinzipien des Debugging innerhalb von Mastra
- Bewertung deterministischer und nicht-deterministiger Agentenaktionen
Einrichten der Testumgebungen für Agent:innen
- Konfigurieren von Test-Sandboxes und isolierten Evaluierungsräumen
- Erfassen von Logs, Traces und Telemetrie-Daten für detaillierte Analysen
- Vorbereiten von Datensätzen und Prompts für strukturiertes Testing
Debugging des KI-Agentenverhaltens
- Nachvollziehen von Entscheidungswegen und internen Signalen zur Begründung
- Identifizieren von Halluzinationen, Fehlern und unbeabsichtigtem Verhalten
- Nutzen von Observability-Dashboards für die Root-Cause-Analyse
Evaluationsmetriken und Benchmarking-Frameworks
- Definieren quantitativer und qualitativer Evaluationsmetriken
- Messen von Genauigkeit, Konsistenz und kontextueller Compliance
- Anwenden von Benchmark-Datensätzen für wiederholbare Bewertungen
Zuverlässigkeitsengineering für KI-Agent:innen
- Konzipieren von Zuverlässigkeitstests für langlaufende Agent:innen
- Erkennen von Drift und Leistungseinbußen bei Agent:innen
- Implementieren von Schutzmechanismen für kritische Arbeitsabläufe
Qualitätssicherungsprozesse und Automatisierung
- Aufbau von QA-Pipelines für kontinuierliche Evaluierung
- Automatisieren von Regressionstests bei Agenten-Updaten
- Integrieren von QA in CI/CD und Unternehmensarbeitsabläufe
Fortgeschrittene Techniken zur Reduzierung von Halluzinationen
- Prompting-Strategien zur Verringerung unerwünschter Ausgaben
- Validierungsschleifen und Selbstprüfmechanismen
- Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Berichterstattung, Überwachung und kontinuierliche Verbesserung
- Erstellen von QA-Berichten und Leistungskarten für Agent:innen
- Überwachen des langfristigen Verhaltens und von Fehlermustern
- Iteratives Verbessern der Evaluierungs-Frameworks für sich entwickelnde Systeme
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis für das Verhalten von KI-Agenten und Modellinteraktionen
- Erfahrung mit der Fehlersuche oder dem Testen komplexer Softwaresysteme
- Vertrautheit mit Observability- oder Logging-Tools
Zielgruppe
- QA-Ingenieur:innen
- KI-Zuverlässigkeitsingenieur:innen
- Entwickler:innen, die für die Qualität und Leistung von Agent:innen verantwortlich sind
21 Stunden