Von: Lykartsis, Athanasios via ak discourse
Datum: Wed, 13 Jan 2021
Betreff: [ak-discourse] Forschungskolloquium Audiokommunikation am 19.01.2021 – Präsentation Masterarbeit Sebastian Cycon
Liebe Kollegen, Studierende und Freunde der Audiokommunikation,
am kommenden Dienstag, den 19.01.2021 um 16:00 Uhr s.t. wird Sebastian Cycon die Ergebnisse seiner Masterarbeit zum Thema „Transfer and multitask learning for music classification tasks“ präsentieren. Dazu möchten wir Sie herzlich einladen. Eine Kurzzusammenfassung des Vortrags finden Sie am Ende dieser E-Mail, sowie auch einen Eintrag für den digitalen Kalender.
Das Forschungskolloquium findet derzeit als Videokonferenz statt. Hierfür nutzen wir die Software Zoom in einer für die TU Berlin angepassten Version. Installieren sie dazu bitte die Client-Software für ihr System, die ausführlichen Zugangsdaten finden sie nochmals am Ende dieser E-Mail.
https://tu-berlin.zoom.us/j/67945346372?pwd=WWIxb1BXbWZ5V2FQOWlUV0JEcTBZQT09
Meeting-ID: 679 4534 6372
Kenncode: 649010
Mit freundlichen Grüßen
Athanasios Lykartsis
—
Titel: Transfer and multitask learning for music classification tasks
Vortragssprache: Englisch.
Abstract:
Neuronale Netze übertreffen herkömmliche Techniken des maschinellen Ler- nens bei MIR-Aufgaben (Music Information Retrieval), erfordern jedoch größere Datensätze für das Training. Die Verfügbarkeit großer Datenmengen, insbesondere im Musikbereich, ist jedoch sehr selten. Darüber hinaus sind die verfügbaren Datensätze von geringer Qualität. Forschungen haben versucht, diesem Problem entgegenzutreten, indem sie Wissen übertragen und trainierbare Modellparameter für mehrere Datensätze und verwandte Aufgaben gemeinsam nutzen. Mit Transfer Learning können Klassifizierungsprobleme von Systemen profitieren, die auf großen Datenmengen trainiert sind. Wenn diese Problemeähnliche Merkmale auf niedriger Ebene aufweisen, können aus diesen Systemen extrahierte Merkmale beim Lösen neuer Aufgaben helfen. Eine andere Methode ist das Multitask Learning. Wenn mehrere ähnliche Aufgaben gemeinsam trainiert werden, können gemeinsam genutzte Feature-Darstellungen von der Verfügbarkeit zusätzlicher Daten profitieren. Gleichzeitig wird bei beiden Ansätzen die Kapazität von Deep-Learning- Netzwerken verringert, sodass sie auch bei kleinen verfügbaren Daten nützliche Funktionen erkennen können.
Diese Masterarbeit erweitert diese Ansätze des Transfer- und Multitask-Lernens, die sich bei der Arbeit mit kleineren Datensätzen als vorteilhaft erwiesen haben. Für die Zwecke dieser Arbeit wurde ein neuer, relativ kleiner Datensatz mit Songs, die mit Tags für DJ-Anwendungen verknüpft sind, von Grund auf neu erstellt. Ein System, das auf das automatische Taggen von Songs unter Verwendung eines großen Datensatzes trainiert wurde, wurde für das Transfer Learning benutzt. Die Anwendbarkeit des Systems für verschiedene Musikklassifizierungsaufgaben wurde bewertet. Beim Training in Singletask- sowie verschiedenen Multitask-
Umgebungen wurden die Vor- und Nachteile verschiedener Klassifizierungsauf- gaben in einer Multitask-Umgebung aufgezeigt. Inspiriert von aktuellen Stu- dien im Feld der Bildklasifizierung wurde ein neuartiger Ansatz zur Kombination von Transfer mit Multitask Learning verwendet, um die Songs in mehrere Label- Kategorien einzuteilen. Mit dem Hinzufügen von Datenaugmentierungsmethoden und dem damit verbundenen Erhöhen des Datensatzes wurde der Einfluss von Transfer und Multitask-Lernen auf die Leistung der Netzwerke in einen breit- eren Kontext gestellt und zusätzlich die erforderliche Größe der Trainingsdaten angegeben, um zufriedenstellende Ergebnisse zu erzielen. Es wird erwartet, dass diese Forschung die Lösung herausfordernder Tagging-Aufgaben ermöglicht, wenn aufgrund von Schwierigkeiten bei der Erstellung nur eine relativ kleine Datenmenge verfügbar ist.
English Version:
Deep neural networks outperform conventional machine learning techniques on music information retrieval (MIR) tasks, but require larger datasets for the training. The availability of large dataset though, especially in the music domain, is very rare. Moreover, the available datasets are of a low quality. Recent research tried to face this problem by transferring knowledge and sharing trainable model parameters for multiple datasets and related tasks. Transfer learning enables tasks to benefit from systems trained on large datasets. If the tasks share similar low-level representations, features extracted from those system can help new, related tasks. Another method is multitask learning. When training jointly multiple similar tasks, shared feature representations can benefit from the availability of additional data. Simultaneously, with both approaches, the capacity of deep learning networks is reduced facilitating them to detect useful features even with small available data.
This master’s thesis expands on these approaches of transfer learning and multitask learning, which proved to be beneficial when working with smaller datasets. For the purposes of this thesis, a new, relatively small dataset including songs associated with tags for DJ application was manually created from scratch. A system trained on automatic song tagging using a large dataset served as the source task for transfer learning. The applicability of the system for various music clas- sification tasks was evaluated. Training in singletask as well as various multitask settings, this work reveals advantages and limitations of solving different classification tasks in a multitask setting. Following current studies in computer vision, a novel approach of combining transfer with multitask learning was used to classify the songs on multiple label categories. With adding data augmentation methods and increasing the data sample size, the impact of transfer and multitask learning on the performances of the networks was put into a wider context, additionally indicating the required size of training data to achieve satisfying results. This research is expected to enable challenging tagging tasks to be solved when only a relatively small amount of data is available due to high creation costs or difficulties in the annotation.
—
Athanasios Lykartsis lädt Sie zu einem geplanten Zoom-Meeting auf der TU Berlin Zoom Instanz ein.
Thema: Präsentation Masterarbeit Sebastian Cycon
Uhrzeit: 19.Jan..2021 04:00 PM Amsterdam, Berlin, Rom, Stockholm, Wien
Zoom-Meeting beitreten
https://tu-berlin.zoom.us/j/67945346372?pwd=WWIxb1BXbWZ5V2FQOWlUV0JEcTBZQT09
Meeting-ID: 679 4534 6372
Kenncode: 649010
Schnelleinwahl mobil
+496950502596,,67945346372#,,,,,,0#,,649010# Deutschland
+496971049922,,67945346372#,,,,,,0#,,649010# Deutschland
Einwahl nach aktuellem Standort
+49 695 050 2596 Deutschland
+49 69 7104 9922 Deutschland
+49 30 5679 5800 Deutschland
Meeting-ID: 679 4534 6372
Kenncode: 649010
Ortseinwahl suchen: https://tu-berlin.zoom.us/u/cbW4hTNaW7
Über SIP beitreten
sip:67945346372.649010@fr.zmeu.us
Über H.323 beitreten
213.19.144.110 (Amsterdam
Niederlande)
213.244.140.110 (Deutschland)
Kenncode: 649010
Meeting-ID: 679 4534 6372
Termineinladung
Titel:
Präsentation Masterarbeit Sebastian Cycon
Ort:
https://tu-berlin.zoom.us/j/67945346372?pwd=WWIxb1BXbWZ5V2FQOWlUV0JEcTBZQT09
Wann:
Dienstag, 19. Januar 2021, 16:00 – 18:00
Beschreibung:
Athanasios Lykartsis lädt Sie zu einem geplanten Zoom-Meeting auf der TU Berlin Zoom Instanz ein.
Zoom-Meeting beitreten
https://tu-berlin.zoom.us/j/67945346372?pwd=WWIxb1BXbWZ5V2FQOWlUV0JEcTBZQT09
Meeting-ID: 679 4534 6372
Kenncode: 649010
Schnelleinwahl mobil
+496950502596,,67945346372#,,,,,,0#,,649010# Deutschland
+496971049922,,67945346372#,,,,,,0#,,649010# Deutschland
Einwahl nach aktuellem Standort
+49 695 050 2596 Deutschland
+49 69 7104 9922 Deutschland
+49 30 5679 5800 Deutschland
Meeting-ID: 679 4534 6372
Kenncode: 649010
Ortseinwahl suchen: https://tu-berlin.zoom.us/u/cbW4hTNaW7
Über SIP beitreten
sip:67945346372.649010@fr.zmeu.us
Über H.323 beitreten
213.19.144.110 (Amsterdam
Niederlande)
213.244.140.110 (Deutschland)
Kenncode: 649010
Meeting-ID: 679 4534 6372
—
Mailinglist AK discourse / TU Berlin – Fachgebiet Audiokommunikation
https://lists.tu-berlin.de/mailman/listinfo/ak-discourse