Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Grundlagen der Mastra-Fehlersuche und -Bewertung
- Verständnis von Agentenverhaltensmodellen und Fehlern
- Kernprinzipien der Fehlersuche in Mastra
- Bewertung deterministischer und nicht-deterministischer Agentenaktionen
Einrichtung von Testumgebungen für Agententests
- Konfigurieren von Testsandboxes und isolierten Evaluationsräumen
- Erfassen von Logs, Traces und Telemetriedaten für detaillierte Analysen
- Vorbereiten von Datensätzen und Prompts für strukturierte Tests
Fehlersuche beim AI-Agentenverhalten
- Verfolgen von Entscheidungspfaden und internen Rechenoperationen
- Identifizieren von Halluzinationen, Fehlern und unerwünschten Verhaltensweisen
- Verwenden von Observabilität-Dashboards für die Ursachenermittlung
Bewertungsmetriken und Benchmarking-Frameworks
- Definieren quantitativer und qualitativer Bewertungsmetriken
- Messen von Genauigkeit, Konsistenz und kontextbezogener Einhaltung
- Anwenden von Benchmark-Datensätzen für wiederverwendbare Bewertungen
Zuverlässigkeitsingenieurwesen für AI-Agenten
- Entwickeln von Zuverlässigkeits-Tests für langlebige Agenten
- Erkennen von Drift und Verschlechterungen in der Agentenleistung
- Implementieren von Schutzmechanismen für kritische Workflows
Qualitätskontrollprozesse und Automatisierung
- Erstellen von QA-Pipelines für kontinuierliche Bewertungen
- Automatisieren von Regressionstests für Agentenaktualisierungen
- Integrieren von QA in CI/CD- und Unternehmensworkflows
Fortgeschrittene Techniken zur Reduzierung von Halluzinationen
- Prompting-Strategien zur Verringerung unerwünschter Ausgaben
- Validierungsschleifen und Selbstprüfungsmechanismen
- Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Berichterstellung, Überwachung und kontinuierlicher Verbesserungsprozess
- Erstellen von QA-Berichten und Agentenbewertungen
- Langfristiges Verhalten und Fehlermuster überwachen
- Verbesserung der Bewertungsrahmen für sich entwickelnde Systeme
Zusammenfassung und Nächste Schritte
Voraussetzungen
- Ein Verständnis für das Agentenverhalten und die Modellinteraktionen
- Erfahrung mit der Fehlersuche oder dem Testen komplexer Software-Systeme
- Vertrautheit mit Observabilitätswerkzeugen oder Log-Werkzeugen
Zielgruppe
- QA-Ingenieure
- AI-Zuverlässigkeitsingenieure
- Entwickler, die für Agentenqualität und -Leistung verantwortlich sind
21 Stunden