Multi-corpus Affect Recognition with Emotion Embeddings and Self-Supervised Representations of Speech - Laboratoire d'Informatique de Grenoble Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Multi-corpus Affect Recognition with Emotion Embeddings and Self-Supervised Representations of Speech

Reconnaissance d'affects multi-corpus avec Emotion Embeddings et représentations auto-supervisées de la parole

Résumé

Speech emotion recognition systems use data-driven machine learning techniques that rely on annotated corpora. To achieve a usable performance in real-life, we need to exploit multiple different datasets since each one can shed the light on some specific expression of affect. However, different corpora use subjectively defined annotation schemes, which poses a challenge to train a model that can sense similar emotions across different corpora. Here, we propose a method that can relate similar emotions across corpora without being explicitly trained for it. Our method relies on self-supervised representations, which can provide us with highly contextualised speech representations, and multi-task learning paradigms. This allows to train on different corpora without changing their labelling schemes. The results show that by fine-tuning self-supervised representations on each corpus separately, we can significantly improve the state of the art within-corpus performance. We further demonstrate that by using multiple corpora during the training of the same model, we can improve the cross-corpus performance, and show that our emotion embeddings can effectively recognise the same emotions across different corpora.
Les systèmes de reconnaissance vocale des émotions utilisent des techniques d'apprentissage automatique basées sur des données qui se fondent sur des corpus annotés. Pour obtenir une performance utilisable dans la vie réelle, nous devons exploiter plusieurs ensembles de données différents, car chacun d'entre eux peut mettre en lumière une expression spécifique de l'affect. Cependant, les différents corpus utilisent des schémas d'annotation définis de manière subjective, ce qui pose un problème pour former un modèle capable de détecter des émotions similaires dans différents corpus. Nous proposons ici une méthode qui permet d'établir des liens entre des émotions similaires dans différents corpus sans qu'il soit nécessaire de s'entraîner explicitement à cette fin. Notre méthode s'appuie sur des représentations auto-supervisées, qui peuvent nous fournir des représentations vocales hautement contextualisées, et sur des paradigmes d'apprentissage multi-tâches. Cela permet de s'entraîner sur différents corpus sans changer leurs schémas d'étiquetage. Les résultats montrent qu'en affinant les représentations auto-supervisées sur chaque corpus séparément, nous pouvons améliorer de manière significative les performances de l'état de l'art au sein du corpus. Nous démontrons également qu'en utilisant plusieurs corpus pendant l'entraînement du même modèle, nous pouvons améliorer la performance inter-corpus, et nous montrons que nos représentations d'émotions peuvent reconnaître efficacement les mêmes émotions dans différents corpus.
Multi_corpus___ACII_2022 (11).pdf (2.53 Mo) Télécharger le fichier

Dates et versions

hal-03930191 , version 1 (13-02-2023)

Identifiants

Citer

Sina Alisamir, Fabien Ringeval, François Portet. Multi-corpus Affect Recognition with Emotion Embeddings and Self-Supervised Representations of Speech. 10th International Conference on Affective Computing and Intelligent Interaction (ACII 2022), Oct 2022, Nara, Japan. ⟨10.1109/ACII55700.2022.9953840⟩. ⟨hal-03930191⟩
19 Consultations
35 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More