Andreas Bär, M.Sc.

Weiterentwicklung von universellen adversarialen Attacken für die semantische Segmentierung von Sequenzen

Art der studentischen Arbeit: Masterarbeit

Betreuer: Andreas Baer

Abteilung: Signalverarbeitung und Machine Learning

Die Semantische Segmentierung von Kamerabildern gilt als eine sehr vielversprechende Technologie für die kamerabasierte Umfeldwahrnehmung in einem hochautomatisierten Fahrzeug. Wie in vielen kamerabasierten Perzeptionsaufgaben, dominieren auch in der semantischen Segmentierung tiefe neuronale Netzwerke den Stand der Technik.

Eine besondere Gefahr für die Anwendung stellen sogenannte universelle adversariale Attacken dar. Dabei wird ein (universelles) Rauschmuster mittels Gradientenoptimierung berechnet, welches dazu fähig ist, tiefe neuronale Netzwerke bei Überlagerung mit einem Kamerabild zu täuschen. Je nach Optimierungskriterium sehen dabei die entstehenden (falschen) semantische Segmentierungen täuschend echt aus.

Das Institut für Nachrichtentechnik ist in Besitz eines System, welches in der Lage ist, universellen Attacken für Sequenzen zu genieren. Der Generierungsprozess wird von einem neuronalen Netzwerk übernommen. Die aktuelle Lösung arbeitet mit einer im Generator integrierten convolutional long short-term memory, die während des Trainings im Backpropagation zeitlichen Kontext erlernt. Im Rahmen dieser Arbeit soll die aktuelle Lösung näher analysiert werden, um sie anschließend mit geeigneten Methoden (z.B. Netzarchitektur, Diskriminator, Kostenfunktionen, ...) weiterzuentwickeln.

Voraussetzungen:
- Gute bis sehr gute Note in Mustererkennung
- Kenntnisse in Python (und PyTorch) empfehlenswert

Relevante Literatur/Infos:
Poursaeed et al., "Generative Adversarial Perturbations", Proc. of CVPR, 2018.
Metzen et al., "Universal Adversarial Perturbations Against Semantic Image Segmentation", Proc. of ICCV, 2017.

Bei Interesse, einfach gerne bei mir melden!