Marvin Sach, M.Sc.

Audiovisuelle Sprechertrennung

Art der studentischen Arbeit: Masterarbeit

Betreuer: Marvin Sach

Abteilung: Signalverarbeitung und Machine Learning

Zwischen der erzeugten Sprache und den Lippenbewegungen des Sprechers besteht eine direkte Korellation. Um diese Korellation auszunutzen gab es in den vergangenen Jahren einige Systeme, die auf multimodale Eingangsdaten gesetzt haben um eine Verbesserung bei der Extraktion eines Zielsprechers aus einem Mix mehrerer Sprecher zu erreichen. Ziel dieser Arbeit ist die re-Implementierung eines publizierten System sowie die Evaluation auf verschiedenen Datensätzen und der vergleich mit konkurrierenden Modellen.

Empfohlen:
- Erfahrung mit Python oder eine ähnlichen Programmiersprache
- Erfolgreiche Teilnahme an den Vorlesungen "Mustererkennung" und "Sprachkommunikation"
- Praktische Erfahrung mit einem Machine learning Framework (optional)

Effiziente Forschungsmethoden für gelernte Störgeräuschunterdrückung

Art der studentischen Arbeit: Masterarbeit

Betreuer: Marvin Sach

Abteilung: Signalverarbeitung und Machine Learning

In letzter Zeit wurden im Bereich der Sprachverbesserung zunehmend gelernte Methoden eingesetzt, die auf künstliche neuronale Netze setzen. Da Modelle und Trainingsdatensätze eine nicht zu vernachlässigende Größe erreicht haben, während die Hardwareressourcen üblicherweise eng begrenzt sind, kann das Training eines Modells recht viel Zeit in Anspruch nehmen. Dies ist für effiziente Forschung und eine schnelle Einschätzung der Ergebnisse ein Hindernis. Mit dieser Arbeit sollen verschiedene Methoden für Effizienzgewinne im Forschungsprozes untersucht werden, und wie diese sich auf die Signifikanz der Ergebnisse auswirken.

Empfohlen:
- Erfahrung mit Python oder eine ähnlichen Programmiersprache
- Erfolgreiche Teilnahme an den Vorlesungen "Mustererkennung" und "Sprachkommunikation"
- Praktische Erfahrung mit einem Machine learning Framework (optional)

Überarbeitung der Rechnerübung zur Sprachkommunikation

Art der studentischen Arbeit: Studentische Hilfskraft (HiWi)

Betreuer: Marvin Sach

Abteilung: Signalverarbeitung und Machine Learning

Die Vorlesung Sprachkommunikation am IfN hat kürzlich einige Erneuerungen erhalten um Deep Learning Technologien des aktuellen Stands der Technik und ihre Relevanz für die Sprachverarbeitung zu vermitteln. Um diese neuen Themen auch in der Rechnerübung aufzugreifen, suchen wir Unterstützung um diese Technologien in Form eines Updates des Softwarepaketes und des Skriptes über das Sommersemester 2023 auf den Weg zu bringen.


Voraussetzungen:
Kenntnisse über Sprachverarbeitung (z.B. durch vorherige Teilnahme an der SPECOM/SLP VL o.Ä.)
Gute Programmierkenntnisse (vorzugsweise in Python)
Kentnisse über die Grundlagen des maschinellen Lernens (eventuell schon erste Erfahrung mit relevanten Frameworks)


Bewerbungen bitte per Email an den o.g. Betreuer der Übung.