Nach erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage, Anforderungen an technische Systeme zu erheben, formulieren und statistisch auswerten, einschließlich KI-gestützter Anforderungserhebung. Sie können systematische Teststrategien von Unit- bis End-to-End-Tests entwerfen und umsetzen, insbesondere für Systeme, die durch KI-/LLM-basierte Verhaltenssurrogate abgebildet werden. Sie können verhaltensbasierte und adversariale Tests konstruieren, um Schwachstellen in KI-/LLM-basierten Verhaltenssurrogaten aufzudecken, Halluzinationen, Faktentreue- und Groundedness-Probleme erkennen und unterschiedliche LLMs oder Prompt-Varianten vergleichen, die als Verhaltenssurrogat für das zu testende technische System dienen. Sie können diese Tests in CI/CD-Pipelines mit automatisierten Bewertungs-Gates integrieren. Die Studierenden sind in der Lage, eigenständig eine End-to-End-, CI/CD-integrierte Testsuite für ein technisches System zu planen, umzusetzen und zu dokumentieren.
Moderne technische Systeme werden zunehmend über LLM-basierte Komponenten repräsentiert, simuliert oder bedient. Deren Absicherung erfordert sowohl klassische V&V als auch KI-spezifische Evaluationstechniken; dieses Modul fokussiert
Grundlagen der Anforderungserhebung, insbesondere KI-gestützter Verfahren
Grundlagen des Testens (Unit-, Integrations-, System- und End-to-End-Tests) und Statistik, einschließlich KI-basierter Testtechniken
Vergleich unterschiedlicher LLMs und Prompt-Varianten, die als Surrogatmodell für das zu technische System dienen
Adversariales Testen und Robustheitstests mit Prompt Injection, Jailbreaks und Edge Cases
Erkennung von Halluzinationen, Faktentreue- und Groundedness-Problemen
End-to-End-Pipeline-Testen, Testautomatisierung und CI/CD für Testpipelines, automatisierte Bewertungs-Gates