Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 21 Stunden
Schulungsübersicht
Grundlagen der Mastra-Fehlersuche und Evaluation
- Verständnis von Verhaltensmodellen und Fehlermustern von Agenten
- Kernprinzipien der Fehlersuche in Mastra
- Evaluation deterministischer und nicht-deterministischer Agentenaktionen
Einrichtung von Umgebungen für Agententests
- Konfiguration von Test-Sandboxes und isolierten Evaluationsumgebungen
- Erfassung von Protokollen, Traces und Telemetrie für eine detaillierte Analyse
- Vorbereitung von Datensätzen und Prompts für strukturierte Tests
Fehlerbehebung des KI-Agentenverhaltens
- Nachverfolgung von Entscheidungspfaden und internen Schlussfolgerungssignalen
- Identifikation von Halluzinationen, Fehlern und unbeabsichtigtem Verhalten
- Nutzung von Observability-Dashboards für die Ursache-Analyse
Evaluationsmetriken und Benchmarking-Frameworks
- Definition quantitativer und qualitativer Evaluationsmetriken
- Messung von Genauigkeit, Konsistenz und Kontextkonformität
- Anwendung von Benchmark-Datensätzen für wiederholbare Assessments
Zuverlässigkeitsengineering für KI-Agenten
- Gestaltung von Zuverlässigkeitstests für langlebige Agenten
- Erkennung von Drift und Leistungsverschlechterung bei Agenten
- Implementierung von Schutzmassnahmen für kritische Workflows
Qualitätssicherungsprozesse und Automatisierung
- Aufbau von QS-Pipelines für kontinuierliche Evaluierung
- Automatisierung von Regressionstests für Agenten-Updates
- Integration der QS in CI/CD- und Enterprise-Workflows
Fortgeschrittene Techniken zur Reduktion von Halluzinationen
- Prompting-Strategien zur Verringerung unerwünschter Ausgaben
- Validierungsschleifen und Selbstprüfungsmechanismen
- Experimente mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Berichterstattung, Überwachung und kontinuierliche Verbesserung
- Entwicklung von QS-Reports und Agenten-Scorecards
- Überwachung langfristigen Verhaltens und Fehlermustern
- Iterative Verbesserung von Evaluationsframeworks für sich entwickelnde Systeme
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis des Verhaltens von KI-Agenten und deren Interaktion mit Modellen
- Erfahrung in der Fehlersuche oder im Testen komplexer Softwaresysteme
- Vertrautheit mit Observability- oder Logging-Tools
Zielgruppe
- QA-Ingenieure
- KI-Zuverlässigkeitsingenieure
- Entwickler, die für die Qualität und Leistungsfähigkeit von Agenten verantwortlich sind
